Rsync(remote synchronize)是一个远程数据同步工具,它可以将一个目录的文件快速地同步到另一个目录,还可以通过网络快速同步多台主机间的文件。rsync 使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

Rsync 工作模式

一般而言,rsync 是 C/S 模型的一个软件,它既是客户端程序也是服务端程序。也就是说 rsync 需要启动一个守护进程(daemon)来接收客户端的请求,默认监听在 TCP 873 端口。

rsync 也支持独立使用以及配合 SSH 通道来传输数据,下面会有几种用法的详细说明。

Rsync 适用场景

  • rsync 在同步文件时需要非常频繁的计算文件的校验码,因此 rsync 会占用一定的 CPU 资源。

    如果不希望 Rsync 进行增量文件传输,则使用 --whole-file 参数显式指定为全量传输。

  • rsync 不适合对数据库文件进行实时同步

    像数据库文件这样的大文件,且是频繁访问的文件,如果使用rsync实时同步,发送端要计算、比较的数据块校验码非常多,cpu会长期居高不下,从而影响数据库提供服务的性能。另一方面,接收端每次都要从巨大的basis file(一般提供服务的数据库文件至少都几十G)中复制大部分相同的数据块重组新文件,这几乎相当于直接 cp了一个文件,它一定无法扛住巨大的io压力,再好的机器也扛不住。

    所以,对频繁改变的单个大文件只适合用rsync偶尔同步一次,也就是备份的功能,它不适合实时同步。像数据库文件,要实时同步应该使用数据库自带的replication功能。

  • 可以使用 rsync 对大量小文件进行实时同步
  • 由于rsync 是增量同步,所以对于接收端已经存在的和发送端相同的文件,发送端是不会发送的,这样就使得发送端和接收端都只需要处理少量的文件,由于文件小,所以无论是发送端的 CPU 还是接收端的 IO 都不是问题。

    但是,rsync 的实时同步功能是借助工具来实现的,如 inotify+rsync,sersync,所以这些工具要设置合理,否则实时同步一样效率低下,不过这不是 rsync 导致的效率低,而是这些工具配置的问题。

Rsync 增量同步原理

先看一个场景,客户端A和B,以及服务端都保存了同一个文件,最初,A、B和服务端上的文件内容都是相同的(记为 Version 1)。某一时刻,B修改了文件内容(记为 Version 2),上传到服务端上。客户端A这时试图向服务端更新文件到 Version 2。

上面这个场景很常见,例如现在流行的网盘。假设我有一个文件a.txt在网盘上,上班时在公司的单位PC上更新了文件a.txt,下班后回到家里,家里PC硬盘上的a.txt就不是最新的内容,这时网盘就试图从服务器上去拿最新的a.txt了。

那么问题来了,如果在公司电脑上我只是更新了a.txt里很少的一部分内容,例如a.txt共有20M,我只更新了10个字节,难道家里的电脑上,网盘要从服务器上下载20M大小的文件?这明显很浪费带宽。

rsync算法就是用来解决上述问题的。在上述的场景中,A需要向服务器同步文件发送它所保存的文件(Version 1)少量的rsync摘要,服务端拿到后对比本地的文件(Version 2)内容,得到Version 1 对比 Version 2 的变化,然后通过仅将变化部分发送给A,A收到之后再把数据和原来的文件进行合并,因此就得到了完整的 Version 2 文件了,这样大大减少了网络传输数据。下面详述rsync算法的步骤。

  • 首先,rsync 需要客户端与服务端之间约定一个块大小,比如 1K。然后把需要同步的文件等分成多个 1K 大小的块,每块各计算出 MD5 摘要和 Alder32 校验和,然后将校验信息发给服务端。

    分块校验示意图.png

  • 服务端收到摘要信息和校验和后,把本地的文件(Version 2)也按协商好的 1K 的大小从文件的0字节开始切出一块,计算出 Alder32 校验和,然后与客户端发过来的第一块数据的 Alder32 进行比较。

    • 如果两个块的 Alder32 值不同,则表示文件内容是不相同的。接着,把文件(Version 2)从1字节开始切出一块,再对比 Alder32 的值。如此循环。
    • 如果两个块的 Alder32 值相同,则进一步比对 MD5 值,两者都相同,则认为数据是相同的,则继续比对下一块,如此循环。

比较绕,通过一张示意图来补充说明一下流程。

rsync分块比较示意图.png

  • 服务端比较出差异部分数据,把差异部分数据发给客户端
  • 客户端收到差异部分数据,在本地合并数据,得到 Version 2

Rsync 的几种常用同步模式

本地模式

本地模式即在同一个系统中,将一个目录/文件同步到另一个目录/文件的方式,此使用方式可以理解为 cp 命令的增强版本。

常用的使用方式如下:

# 将 src 目录里的所有文件同步至 dst 目录(不包含 src 本身)
rsync -av src/ dst/

# 将 src 目录同步至 dst 目录
rsync -av src dst/

# 同上,使用 -R 参数,即使是 src 后面有 /,也会同步目录本身
rsync -avR src/ dst/

daemon 模式

daemon 模式即在两台主机将同步文件,其中一台需要开启一个 rsync daemon 进程。另一台作为客户端使用,客户端可以将本地文件/目录推到服务端,可以从服务端拉取文件/目录到本地。

用一张图来说明两者的区别:

rsync.push.pull.png

命令:

# rsync server
rsync --daemon -config=/etc/rsyncd.conf

# rsync client
rsync -avz /data rsync@192.168.1.1::backup

SSH 模式

SSH 模式即 rsync 通过 SSH 隧道来传输数据,其各有优缺点

优点:

  • 加密传输
  • 无需 rsync daemon

缺点:

  • 通过 SSH 承载,效率低
  • 需要输入密码或配置免密码登录,或使用其它能自动输入密码的工具

常用命令:

# 将 src 目录同步到 192.168.1.1 的 /backup 目录
rsync -avR src root@192.168.1.1:/backup/

# 如果 SSH 端口不为 22,使用 -e 参数指定 SSH 端口
rsync -avR src -e 'ssh -p2222' root@192.168.1.1:/backup/

# tips:使用 SSH 隧道模式,需要输入 SSH 密码,如果不想输入密码,需要配置 SSH 免密码登录

标签: rsync

添加新评论