Linux下Rsync详细使用教程
rsync 最早是想要取代 rcp 这个指令的，因为 rsync 不但传输的速度快，而且他在传输时， 可以比对本地端与远端主机欲复制的档案内容，而仅复制两端有差异的档案而已，所以传输的时间就相对的降低很多！ 此外， rsync 的传输方式至少可以透过三种方式来运作：
· 在本机上直接运作，用法就与 cp 几乎一模一样，例如：
rsync -av /etc /tmp (将 /etc/ 的资料备份到 /tmp/etc 内)
· 透过 rsh 或 ssh 的通道在 server / client 之间进行资料传输，例如：
rsync -av -e ssh user@rsh.server:/etc /tmp (将 rsh.server 的 /etc 备份到本地主机的 /tmp 内)
· 直接透过 rsync 提供的服务 (daemon) 来传输，此时 rsync 主机需要启动 873 port：
1. 你必须要在 server 端启动 rsync ， 看 /etc/xinetd.d/rsync 即可；
2. 你必须编辑 /etc/rsyncd.conf 设定档；
3. 你必须设定好 client 端连线的密码资料；
4. 在 client 端可以利用：rsync -av user@hostname::/dir/path /local/path
其实三种传输模式差异在于有没有冒号 (:) 而已，本地端传输不需要冒号，透过 ssh 或 rsh 时，就得要利用一个冒号 (:)， 如果是透过 rsync daemon 的话，就得要两个冒号 (::) ，应该不难理解啦！因为本地端处理很简单， 而我们的系统本来就有提供 ssh 的服务，所以，底下鸟哥将直接介绍利用 rsync 透过 ssh 来备份的动作。
1，rsync语法及参数
[root@linux ~]# rsync [-avrlptgoD] [-e ssh] [user@host:/dir] [/local/path]
参数：
-v ：观察模式，可以列出更多的资讯；
-q ：与 -v 相反，安静模式，输出的资讯比较少；
-r ：递回复制！可以针对”目录”来处理！很重要！
-u ：仅更新 (update)，不会覆盖目标的新档案；
-l ：复制连结档的属性，而非连结的目标原始档案内容；
-p ：复制时，连同属性 (permission) 也保存不变！
-g ：保存原始档案的拥有群组；
-o ：保存原始档案的拥有人；
-D ：保存原始档案的装置属性 (device)
-t ：保存原始档案的时间参数；
-I ：忽略更新时间 (mtime) 的属性，档案比对上会比较快速；
-z ：加上压缩的参数！
-e ：使用的通道协定，例如使用 ssh 通道，则 -e ssh
-a ：相当于 -rlptgoD ，所以这个 -a 是最常用的参数了！
更多说明请参考 man rsync 的解说！
2，使用rsync将远程37上的/etc目录备份到本地的/tmp/bb目录下面！
[root@kk ~]# rsync -av -e ssh 192.168.254.37:/etc /tmp/bb
The authenticity of host ‘192.168.254.37 (192.168.254.37)’ can’t be established.
RSA key fingerprint is 67:aa:a3:19:b4:be:1f:64:e6:76:49:41:92:76:ef:7c.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘192.168.254.37’ (RSA) to the list of known hosts.
root@192.168.254.37’s password:
。。。。。。
sent 549296 bytes received 25779122 bytes 810105.17 bytes/sec
total size is 82609812 speedup is 3.14
说明：-a保持原文件的所有属性（这个参数是其他参数的组合）；
-v 显示备份过程中的详细信息
-e 指定通道协议，-e ssh用ssh协议连接远程的37机器
/tmp/bb 本地用来保存备份的目录
3，将本机的/etc目录备份到本机的/tmp/aa目录下
第一次：可以理解为全备！
[root@nod1 peers]# rsync -av /etc/ /tmp/aa
yum/yum-updatesd.conf
yum/pluginconf.d/
yum/pluginconf.d/security.conf
sent 89011933 bytes received 33008 bytes 6595921.56 bytes/sec
total size is 88889417 speedup is 1.00
第二次：仅作了差异备份！效率很高！
来给/etc/下添加一个zbb文件，再备份！
[root@nod1 peers]# rsync -av /etc/ /tmp/aa
building file list … done
./
zbb //呵呵，这里只备份自上次以来有差异的文件！效率很高！！
sent 60946 bytes received 54 bytes 40666.67 bytes/sec
total size is 88889417 speedup is 1457.20
Linux学习笔记之备份命令rsync
服务器之间常常要保持些文件或目录的一致，比如一些大的软件下载网站，它们通常使用多台服务器来提供下载服务。当一台服务器上的文件更新后，其它的服务器也需要更新，而且 在更新的时候应该是只对新增或是修改过的文件进行更新，否则会造成网络带宽和时间的浪费。rsync就是能有效的保持文件及目录的一致的优秀软件。
rsync，remote synchronize
顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。rysnc的官方网站：http://rsync.samba.org/，可以从上面得到最新的版本。当然，因为rsync是一款如此有用的软件，所以很多Linux的发行版本都将它收录在内了。你的Linux里并没有安装rsync，你可以按以下的安法自行安装：
一、安装过程
1.下载rsync
从rysnc的官方网站上下载一个回来：
http://ftp.samba.org/ftp/rsync/rsync-2.5.6.tar.gz
2.解压
# tar -xzpvf rsync-2.5.6.tar.gz
3.编译安装
# cd rsync-2.5.6/
# ./configure –prefix=/usr/local/rsync
# make
# make install
以上过程没有出现的话就安装好了，现在就有rsync命令可以用了，rsync命令放在
/usr/local/rsync/bin。用rsync命令可以去运行有rsync服务的服务器上抓取资料。
如果要把当前的机器变成一台rsync服务器的话，就需要继续进行一些配置了。
二、配置rsync服务
配置一个简单的rsync服务并不复杂，你需要修改或建立一些配置文件。
1.rsyncd.conf
# vi /etc/rsyncd.motd
rsyncd.con是rsync服务的主要配置文件，它控制rsync服务的各种属性，下面给出一个
rsyncd.conf文件的例子：
#先定义整体变量
secrets file = /etc/rsyncd.secrets
motd file = /etc/rsyncd.motd
read only = yes
list = yes
uid = nobody
gid = nobody
hosts allow = 192.168.100.90 #哪些电脑可以访问rsync服务
hosts deny = 192.168.100.0/24 #哪些电脑不可以访问rsync服务
max connections = 2
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
#再定义要rsync目录
[terry]
comment = Terry ‘s directory from 192.168.100.21
path = /home/terry
auth users = terry,rsync
[test]
comment = test rsync
path = /home/test
在上面的配置文件中，限定了192.168.100.0/24这个子网中，只有192.168.100.90的机器可以来访问这台rsync服务器的rsync服务。配置文件的后面部分定义了两个rsync的目录，terry目录是只有知道terry、rsync两个账号的人才能使用的，而text目录是无需账号就可以访问的。rsync在定义目录时还提供了一些其它选项，可以作更严格的控制。
2.rsyncd.secrets
# vi /etc/rsyncd.secrets
rsyncd.secrets是存储rsync服务的用户名和密码的，它是一个明文的文本文件，下面给出一个rsyncd.secrets文件的例子：
terry:12345
rsync:abcde
因为rsyncd.secrets存储了rsync服务的用户名和密码，所以非常重要，因此文件的属性必须
设为600，只有所有者可以读写：
# chmod 600 /etc/rsyncd.secrets
3.rsyncd.motd
# vi /etc/rsyncd.motd
rsyncd.motd记录了rsync服务的欢迎信息，你可以在其中输入任何文本信息，如：
Welcome to use the rsync services!
4.services
# vi /etc/services
services并不是rsync的配置文件，这一步也可以不做。而修改了services文件的好处就在于
系统知道873端口对就的服务名为rsync。修改services的方法就是确保services中有如下两行，
没有的话就自行加入：
rsync 873/tcp # rsync
rsync 873/udp # rsync
5./etc/xinetd.d/rsync
# vi /etc/xinetd.d/rsync
建立一个名为/etc/xinetd.d/rsync文件，输入以下内容：
service rsync
{
disable = no
socket_type = stream
wait = no
user = root
server = /usr/local/rsync/bin/rsync
server_args = –daemon
log_on_failure += USERID
}
保存后，就可以运行rsync服务了。输入以下命令：
# /etc/rc.d/init.d/xinetd reload
这样rsync服务就在这台机器上(192.168.100.21)运行起来了，接下来就是如何来使用它了。
三、rsync命令的用法
在配置完rsync服务器后，就可以从客户端发出rsync命令来实现各种同步的操作。rsync有很
多功能选项，下面就对介绍一下常用的选项：
rsync的命令格式可以为：
1. rsync [OPTION]… SRC [SRC]… [USER@]HOST : DEST]
2. rsync [OPTION]… [USER@]HOST:SRC DEST]
3. rsync [OPTION]… SRC [SRC]… DEST]
4. rsync [OPTION]… [USER@]HOST::SRC [DEST]
5. rsync [OPTION]… SRC [SRC]… [USER@]HOST :: DEST]
6. rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]
rsync有六种不同的工作模式：
1. 拷贝本地文件；当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。
2.使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器。当DST
路径地址包含单个冒号”:”分隔符时启动该模式。
3.使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器。当SRC
地址路径包含单个冒号”:”分隔符时启动该模式。
4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。
5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。
6. 列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。
下面以实例来说明：
# rsync -vazu -progress terry@192.168.100.21:/terry/ /home
v详细提示
a以archive模式操作，复制目录、符号连接
z压缩
u只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时
-progress指显示
以上命令是保持客户机192.168.100.90上的/home/terry目录和rsync服务器上的terry目录同
步。该命令执行同步之前会要求你输入terry账号的密码，这个账号是我们前面在rsyncd.secrets
文件中定义的。如果想将这条命令写到一个脚本中，然后定时执行它的话，可以使用–password-file
选项，具体命令如下：
# rsync -vazu -progress –password-file=/etc/rsync.secret
terry@192.168.100.21:/terry/ /home
要使用–password-file选项，就得先建立一个存放密码的文件，这里指定为/etc/rsync.secret。
其内容很简单，如下：
terry:12345
同样要修改文件属性如下：
# chmod 600 /etc/rsyncd.secrets
四、利用rsync保持Linux服务器间的文件同步实例
现在假设有两台Linux服务器A(192.168.100.21)和B(192.168.100.90)，服务器A中的
/home/terry和服务器B中的/home/terry这两个目录需要保持同步，也就是当服务器A中文件发生
改变后，服务器B中的文件也要对应去改变。
我们按上面的方法，在服务器A上安装rsync，并将其配置为一台rsync服务器，并将/home/terry
目录配置成rsync共享出的目录。然后在服务器B上安装rsync，因为B只做客户端，所以无需配置。
然后在服务器B，建立以下脚本：
#!/bin/bash
/usr/loca/rsync/bin/rsync -vazu -progress –delete
–password-file=/etc/rsync.secret terry@192.168.100.21:/terry/ /home
将这个脚本保存为AtoB.sh，并加上可执行属性：
# chmod 755 /root/AtoB.sh
然后，通过crontab设定，让这个脚本每30分钟运行一次。执行命令：
# crontab -e
输入以下一行：
0,30 * * * * /root/AtoB.sh
保存退出，这样服务器B每个小时的0分和30分时都会自动运行一次AtoB.sh，AtoB.sh是负责
保持服务器B和服务器A同步的。这样就保证了服务器A的所有更新在30钟后，服务器B也一样取
得了和服务器A一样的最新的资料。
五、其它应用
rsync除了同步文件及目录之外，还可以利用它来实现对远程网站的远程备份。如果再结合脚本和Crontab就能实现定时自动远程备份。其可以实现与商业化的备份和镜象产品的类似效果，但完全免费。
附：rsync有六种不同的工作模式：
1. 拷贝本地文件；当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。
2.使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器。当DST
路径地址包含单个冒号”:”分隔符时启动该模式。
3.使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器。当SRC
地址路径包含单个冒号”:”分隔符时启动该模式。
4. 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。
5. 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。
6. 列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。
用rsync对网站进行镜像备份
对系统管理员来说，平时的工作重心应该集中在维护系统正常运转，能够正常提供服务上，这里往往牵涉到一个数据备份的问题，在我所了解
的情况中，有80%的系统管理员不是太关心自己服务器的安全性，但往往对备分镜像的技术相当感兴趣，但由于商业产品的软硬件价格都相当高
昂，因此往往会选择自由软件。这里准备介绍的rsync就是这样的软件，它可以满足绝大多数要求不是特别高的备份需求。
一、特性简介
rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。它的特性如下：
1、可以镜像保存整个目录树和文件系统。
2、可以很容易做到保持原来文件的权限、时间、软硬链接等等。
3、无须特殊权限即可安装。
4、优化的流程，文件传输效率高。
5、可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
6、支持匿名传输。
二、使用方法
rsync的使用方法很简单，我就举自己使用的例子来说明吧。
1、系统环境
rsync支持大多数的类unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试。我的系统环境为：
server: FreeBSD 4.3 ip: 192.168.168.52
client: Solaris 8 ip: 192.168.168.137
rsync 版本 2.4.6(可以从http://rsync.samba.org/rsync/获得最新版本)
2、配置server端的/etc/rsyncd.conf文件
bash-2.03# cat /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = no # 不使用chroot
max connections = 4 # 最大连接数为4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log # 日志记录文件
[inburst] # 这里是认证的模块名，在client端需要指定
path = /home/inburst/python/ # 需要做镜像的目录
comment = BACKUP CLIENT IS SOLARIS 8 E250
ignore errors # 可以忽略一些无关的IO错误
read only = yes # 只读
list = no # 不允许列文件
auth users = inburst # 认证的用户名，如果没有这行，则表明是匿名
secrets file = /etc/inburst.pas # 认证文件名
[web]
path = /usr/local/apache/htdocs/
comment = inburst.org web server
3、在server端生成一个密码文件/etc/inburst.pas
bash-2.03# cat /etc/inburst.pas
inburst:hack
出于安全目的，文件的属性必需是只有属主可读。
4、在server端将rsync以守护进程形式启动
bash-2.03# rsync –daemon
如果要在启动时把服务起来，有几种不同的方法，比如：
a、加入inetd.conf
编辑/etc/services，加入rsync 873/tcp，指定rsync的服务端口是873
编加/etc/inetd.conf，加入rsync stream tcp nowait root /bin/rsync rsync –daemon
b、加入rc.local
在各种操作系统中，rc文件存放位置不尽相同，可以修改使系统启动时rsync –daemon加载进去。
5、从client端进行测试
下面这个命令行中-vzrtopg里的v是verbose，z是压缩，r是recursive，topg都是保持文件原有属性如属主、时间的参数。–progress是指显示
出详细的进度情况，–delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致。后面的inburst@ip中，
inburst是指定密码文件中的用户名，之后的::inburst这一inburst是模块名，也就是在/etc/rsyncd.conf中自定义的名称。最后的/tmp是备份
到本地的目录名。
在这里面，还可以用-e ssh的参数建立起加密的连接。可以用–password-file=/password/path/file来指定密码文件，这样就可以在脚本中使
用而无需交互式地输入验证密码了，这里需要注意的是这份密码文件权限属性要设得只有属主可读。
bash-2.03# rsync -vzrtopg –progress –delete inburst@192.168.168.52::inburst /tmp/
Password:
receiving file list … done
./
1
785 (100%)
1.py
4086 (100%)
2.py
10680 (100%)
a
0 (100%)
ip
3956 (100%)
./
wrote 190 bytes read 5499 bytes 758.53 bytes/sec
total size is 19507 speedup is 3.43
6、创建更新脚本
如果有比较复杂的工作，利用一些常见的脚本语言可以有帮助。比如：
bash-2.03# cat /usr/local/bin/rsync.sh
#!/bin/sh
DATE=`date +%w`
rsync -vzrtopg –progress –delete inburst@192.168.168.52::inburst /home/quack/backup/$DATE –password-file=/etc/rsync.pass >
/var/log/rsync.$DATE
7、修改/etc/crontab做好定时
比如:
bash-2.03# echo “15 4 * * 6 root rsync.sh”>>/etc/crontab
三、FAQ
Q：如何通过ssh进行rsync，而且无须输入密码？
A：可以通过以下几个步骤
1. 通过ssh-keygen在server A上建立SSH keys，不要指定密码，你会在~/.ssh下看到identity和identity.pub文件
2. 在server B上的home目录建立子目录.ssh
3. 将A的identity.pub拷贝到server B上
4. 将identity.pub加到~[user b]/.ssh/authorized_keys
5. 于是server A上的A用户，可通过下面命令以用户B ssh到server B上了
e.g. ssh -l userB serverB
这样就使server A上的用户A就可以ssh以用户B的身份无需密码登陆到server B上了。
Q：如何通过在不危害安全的情况下通过防火墙使用rsync?
A：解答如下：
这通常有两种情况，一种是服务器在防火墙内，一种是服务器在防火墙外。
无论哪种情况，通常还是使用ssh，这时最好新建一个备份用户，并且配置sshd仅允许这个用户通过RSA认证方式进入。
如果服务器在防火墙内，则最好限定客户端的IP地址，拒绝其它所有连接。
如果客户机在防火墙内，则可以简单允许防火墙打开TCP端口22的ssh外发连接就ok了。
Q：我能将更改过或者删除的文件也备份上来吗？
A：当然可以：
你可以使用如：rsync -other -options -backupdir = ./backup-2000-2-13 …这样的命令来实现。
这样如果源文件:/path/to/some/file.c改变了，那么旧的文件就会被移到./backup-2000-2-13/path/to/some/file.c，这里这个目录需要自己
手工建立起来
Q：我需要在防火墙上开放哪些端口以适应rsync？
A：视情况而定
rsync可以直接通过873端口的tcp连接传文件，也可以通过22端口的ssh来进行文件传递，但你也可以通过下列命令改变它的端口：
rsync –port 8730 otherhost::
或者
rsync -e ‘ssh -p 2002’ otherhost:
Q：我如何通过rsync只复制目录结构，忽略掉文件呢？
A：rsync -av –include ‘*/’ –exclude ‘*’ source-dir dest-dir
Q：为什么我总会出现”Read-only file system”的错误呢？
A：看看是否忘了设”read only = no”了
Q：为什么我会出现’@ERROR: invalid gid’的错误呢？
A：rsync使用时默认是用uid=nobody;gid=nobody来运行的，如果你的系统不存在nobody组的话，就会出现这样的错误，可以试试gid =
nogroup或者其它
Q：绑定端口873失败是怎么回事？
A：如果你不是以root权限运行这一守护进程的话，因为1024端口以下是特权端口，会出现这样的错误。你可以用–port参数来改变。
Q：为什么我认证失败？
A：从你的命令行看来：
你用的是：
> bash$ rsync -a 144.16.251.213::test test
> Password:
> @ERROR: auth failed on module test
>
> I dont understand this. Can somebody explain as to how to acomplish this.
> All suggestions are welcome.
应该是没有以你的用户名登陆导致的问题，试试rsync -a max@144.16.251.213::test test
四、一些可借鉴的脚本
这里这些脚本都是rsync网站上的例子：
1、每隔七天将数据往中心服务器做增量备份
#!/bin/sh
# This script does personal backups to a rsync backup server. You will end up
# with a 7 day rotating incremental backup. The incrementals will go
# into subdirectories named after the day of the week, and the current
# full backup goes into a directory called “current”
# tridge@linuxcare.com
# directory to backup
BDIR=/home/$USER
# excludes file – this contains a wildcard pattern per line of files to exclude
EXCLUDES=$HOME/cron/excludes
# the name of the backup machine
BSERVER=owl
# your password on the backup server
export RSYNC_PASSWORD=XXXXXX
########################################################################
BACKUPDIR=`date +%A`
OPTS=”–force –ignore-errors –delete-excluded –exclude-from=$EXCLUDES
–delete –backup –backup-dir=/$BACKUPDIR -a”
export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
# the following line clears the last weeks incremental directory
[ -d $HOME/emptydir ] || mkdir $HOME/emptydir
rsync –delete -a $HOME/emptydir/ $BSERVER::$USER/$BACKUPDIR/
rmdir $HOME/emptydir
# now the actual transfer
rsync $OPTS $BDIR $BSERVER::$USER/current
2、备份至一个空闲的硬盘
#!/bin/sh
export PATH=/usr/local/bin:/usr/bin:/bin
LIST=”rootfs usr data data2″
for d in $LIST; do
mount /backup/$d
rsync -ax –exclude fstab –delete /$d/ /backup/$d/
umount /backup/$d
done
DAY=`date “+%A”`
rsync -a –delete /usr/local/apache /data2/backups/$DAY
rsync -a –delete /data/solid /data2/backups/$DAY
3、对vger.rutgers.edu的cvs树进行镜像
#!/bin/bash
cd /var/www/cvs/vger/
PATH=/usr/local/bin:/usr/freeware/bin:/usr/bin:/bin
RUN=`lps x | grep rsync | grep -v grep | wc -l`
if [ “$RUN” -gt 0 ]; then
echo already running
exit 1
fi
rsync -az vger.rutgers.edu::cvs/CVSROOT/ChangeLog $HOME/ChangeLog
sum1=`sum $HOME/ChangeLog`
sum2=`sum /var/www/cvs/vger/CVSROOT/ChangeLog`
if [ “$sum1” = “$sum2” ]; then
echo nothing to do
exit 0
fi
rsync -az –delete –force vger.rutgers.edu::cvs/ /var/www/cvs/vger/
exit 0
4、利用find的一种巧妙方式
rsync -avR remote:’`find /home -name “*.[ch]”`’ /tmp/
可以用这种方法列出需要备份的文件列表——这种方法似乎比较少人用到。
Linux下Rsync详细使用教程：等您发表观点！
发表评论
