Linux下sersync数据实时同步

sersync其实是利用inotify和rsync两种软件技术来实现数据实时同步功能的,inotify是用于监听sersync所在服务器上的文件变化,结合rsync软件来进行数据同步,将数据实时同步给客户端服务器。

工作过程:在同步主服务器上开启sersync,负责监听文件系统的变化,然后调用rsync命令把更新的文件同步到目标服务器上,主服务器上安装sersync软件,目标服务器上安装rsync服务。

Linux下sersync数据实时同步

1、客户端配置

?

[root@localhost2 ~]# cat /etc/rsyncd.conf

##created by cai at 2018-2-24

uid=rsync

gid=rsync

use chroot = no

max connections = 200

timeout = 300

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[data]

path = /data/

ignore errors

read only = false

list = false

hosts allow = 192.168.181.128:52000/24

hosts deny = 0.0.0.0/32

auth users = rsync_body

secrets file = /etc/rsync.password

[root@localhost2 ~]# ls -ld /data/

drwxrwxrwx. 3 rsync rsync 4096 feb 24 16:58 /data/

 

[root@localhost2 ~]# cat /etc/rsync.password

rsync_body:admin

 

[root@localhost2 ~]# ls -ld /etc/rsync.password

-rw-------. 1 root root 17 feb 24 16:26 /etc/rsync.password  #600权限

 

[root@localhost2 ~]# netstat -lntup| grep "rsync"

tcp 0 0 0.0.0.0:873 0.0.0.0:* listen 1497/rsync

tcp 0 0 :::873 :::* listen 1497/rsync

2、主服务器配置

?

[root@localhost1 ~]# cat /etc/rsync.password

admin

[root@localhost1 ~]# ls -ld /etc/rsync.password

-rw------- 1 root root 6 feb 24 03:54 /etc/rsync.password

3、安装sersync服务

采用inotify来对文件进行监控,当监控到文件有文件发生改变的时候,就会调用rsync实现触发式实时同步!

安装sersync(注意sersync是工作在rsync的源服务器上,也就是客户端上)

?

[root@salt-client01 ~]# cd /usr/local/src/

[root@salt-client01 src]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -c /usr/local/

gnu-linux-x86/

gnu-linux-x86/sersync2

gnu-linux-x86/confxml.xml

[root@salt-client01 src]# cd /usr/local/

[root@salt-client01 local]# mv gnu-linux-x86 sersync

[root@salt-client01 local]# cd sersync/

[root@salt-client01 sersync]# mkdir conf bin log

[root@salt-client01sersync]# mv confxml.xml conf

[root@salt-client01sersync]# mv sersync2 bin/sersync

修改配置文件

?

***********************************30行开始******************************

  <commonparams params="-artuz"/> #-artuz为rsync同步时的参数

  <authstart="true" users="rsync的虚拟用户名(rsync_backup)" passwordfile="rsync的密码文件"/>

  <userdefinedport start="true"port="873"/><!-- port=874 -->

  <timeout start="false" time="100"/><!--timeout=100 -->

  <sshstart="false"/>

    ************************************第36行***********************************

    <faillogpath="自己定义的log文件夹(/usr/local/sersync/log)rsync_fail_log.sh"

    timetoexecute="60"/><!--defaultevery 60mins execute once-->

    *******************************************************************************

    *注:若有多个目录备份可以穿件多个配置文件在启动时的-o参数中添加即可

 

[root@salt-client01 conf]# diff confxml.xml confxml.xml.bak

24,25c24,25

<   <localpath watch="/data/"#data就是本地需要同步的文件夹到服务器端的目录

<     <remote ip="192.168.91.166" name="data"/> #data (server的模块名)是rsync 服务端的文件夹,也就是推送到服务器端的目标文件夹,可以配置多个,

---

>   <localpath watch="/opt/tongbu">

>     <remote ip="127.0.0.1" name="tongbu1"/>

31c31

<     <auth start="true" users="rsync_body" passwordfile="/etc/rsync.password"/>  #true 才能生效,rsync_body同步时候虚拟账号,后面是密码文件

---

>     <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>

33c33

<     <timeout start="true" time="100"/><!-- timeout=100 -->          #true 才能生效

---

>     <timeout start="false" time="100"/><!-- timeout=100 -->

36c36

<   <faillog path="/usr/local/sersync/log/rsync_fail_log.sh" timetoexecute="60"/><!--default every 60mins execute once--> #检测rsync进程判断,没有自动启

---

>   <faillog path="/tmp/rsync_fail_log.sh" timetoexecute="60"/><!--default evepry 60mins execute once-->

启动sersync

?

[root@salt-client01 src]# echo 'export path=$path:/usr/local/sersync/bin'>>/etc/profile #声明环境变量

[root@salt-client01 src]# source /etc/profile

[root@salt-client01 src]# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml #启动

set the system param

execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r   rsync all the local files to the remote servers before the sersync work

option: -d   run as a daemon

option: -o   config xml name: /usr/local/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost  host port: 8008

daemon start,sersync run behind the console

use rsync password-file :

user is  rsync_body

passwordfile is   /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 manually

sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

max threads numbers is: 22 = 12(thread pool nums) + 10(sub threads)

please according your cpu ,use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data && rsync -artuz -r --delete ./ --timeout=100 rsync_body@192.168.91.166::data --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data #此时可以看出sersync已经启动成功了

 

#检测脚本

[root@salt-client01 log]# pwd

/usr/local/sersync/log

[root@salt-client01 log]# vim rsync_fail_log.sh

[root@salt-client01 log]# chmod +x rsync_fail_log.sh

[root@salt-client01 ~]# cat /usr/local/sersync/log/rsync_fail_log.sh

#!/bin/bash

#purpose: check sersync whether it is alive

#author: cai meng zhi

sersync="/usr/local/sersync/bin/sersync2"

conf_file="/usr/local/sersync/conf/confxml.xml"

status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)

if [ $status -eq 0 ];

then

    $sersync -d -r -o $conf_file &

else

    exit 0;

fi

脚本写好以后,添加到计划任务中去

*/1 * * * * /bin/bash /usr/local/sersync/log/rsync_fail_log.sh > /dev/null 2>&1

 

测试同步:

客户端新增文件

[root@salt-client01 data]# cp /etc/passwd 192.168.91.156.passwd

[root@salt-client01 data]# ll

total 4

-rw-r--r-- 1 root root 1928 nov 10 18:15 192.168.91.156.passwd

-rw-r--r-- 1 root root  0 nov 10 17:27 3

服务端检测

[root@salt-master data]# cd /data/

[root@salt-master data]# ll

total 8

-rw-r--r-- 1 root root 1928 nov 10 18:15 192.168.91.156.passwd #说明已经同步过来了

-rw-r--r-- 1 root root  0 nov 10 17:27 3

drwxr-xr-x 2 root root 4096 nov 10 17:27 data

 

客户端测试删除

[root@salt-client01 data]# rm rf 192.168.91.156.passwd

rm: cannot remove `rf': no such file or directory

rm: remove regular file `192.168.91.156.passwd'? y

[root@salt-client01 data]# ll

total 0

-rw-r--r-- 1 root root 0 nov 10 17:27 3

[root@salt-client01 data]#

 

服务器端:

[root@salt-master data]# ll

total 4

-rw-r--r-- 1 root root  0 nov 10 17:27 3  #说明已经删除掉了

drwxr-xr-x 2 root root 4096 nov 10 17:27 data

4、常见错误汇总

?

错误一:

@error: auth failed on module xxxxx

rsync: connection unexpectedly closed(90 bytes read so far)

rsync error: error in rsync protocoldata stream (code 12) at io.c(150)

说明:这是因为密码设置错了,无法登入成功,检查一下rsync.pwd,看客服是否匹配。还有服务器端没启动rsync 服务也会出现这种情况。

 

错误二:

password file must not beother-accessible

continuing without password file

password:

说明:这是因为rsyncd.pwdrsyncd.sec的权限不对,应该设置为600。如:chmod600 rsyncd.pwd

 

错误三:

@error: chroot failed

rsync: connection unexpectedly closed(75 bytes read so far)

rsync error: error in rsync protocoldata stream (code 12) at io.c(150)

说明:这是因为你在 rsync.conf中设置的 path 路径不存在,要新建目录才能开启同步

 

错误四:

rsync: failed to connect to218.107.243.2: no route to host (113)

rsync error: error in socket io (code10) at clientserver.c(104) [receiver=2.6.9]

说明:防火墙问题导致,这个最好先彻底关闭防火墙,排错的基本法就是这样,无论是s还是c,还有ignore errors选项问题也会导致

 

错误五:

@error: access denied to www fromunknown (192.168.1.123)

rsync: connection unexpectedly closed(0 bytes received so far) [receiver]

rsync error: error in rsync protocoldata stream (code 12) at io.c(359)

说明:此问题很明显,是配置选项hostallow的问题,初学者喜欢一个允许段做成一个配置,然后模块又是同一个,致使导致

 

错误六:

rsync error: received sigint,sigterm, or sighup (code 20) at rsync.c(244) [generator=2.6.9]

rsync error: received sigusr1 (code19) at main.c(1182) [receiver=2.6.9]

说明:导致此问题多半是服务端服务没有被正常启动,到服务器上去查查服务是否有启动,然后查看下 /var/run/rsync.pid 文件是否存在,最干脆的方法是杀死已经启动了服务,然后再次启动服务或者让脚本加入系统启动服务级别然后shutdown -r now服务器

 

错误七:

rsync: read error: connection resetby peer (104)

rsync error: error in rsync protocoldata stream (code 12) at io.c(604) [sender=2.6.9]

说明:原数据目录里没有数据存在

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

原文链接:https://www.cnblogs.com/caicairui/archive/2018/02/26/8472888.html

原创文章,作者:TEQPQ,如若转载,请注明出处:https://www.wangzhanshi.com/n/6600.html

(0)
TEQPQ的头像TEQPQ
上一篇 2025年1月1日 16:22:55
下一篇 2025年1月1日 16:23:03

相关推荐

  • Bash中文件描述符的详细介绍

    前言 linux将所有内核对象当做文件来处理,系统用一个size_t类型来表示一个文件对象,比如对于文件描述符0就表示系统的标准输入设备stdin,通常情况下stdin的值为键盘,…

    2025年1月1日
  • Linux用户与最小权限原则解析

    Linux的用户在登录(login)之后,就带有一个用户身份(user ID, UID)和一个组身份(group ID, GID)。在Linux文件管理背景知识中,我们又看到,每个…

    2025年1月1日
  • 详细讲解西软FOXHIS增量备份与恢复方法

    如何为西软数据做增量备份及恢复   西软在实施阶段时,会设置好几个linux shell的自动任务,把数据每天全库备份两次,并且并把数据通过ftp拷至备份库,其实这样做存在非常大的…

    2025年1月1日
  • linux服务器上安装jdk的两种方法(yum+下载包)

    前言 对于开发者来说,安装jdk按理说是非常简单的事,但在linux下安装着实费了我这个一直玩windows的小白不少劲。这里简单把步骤梳理下,希望能帮助像我这样的纯小白人士少踩点…

    2025年1月1日
  • Linux将命令添加到PATH中的方法

    linux LinuxApacheBash 简单说PATH就是一组路径的字符串变量,当你输入的命令不带任何路径时,LINUX会在PATH记录的路径中查找该命令。有的话则执行,不存在…

    Linux 2025年1月1日
  • Linux十个新手命令分享

    Linux对我们的生活有着很大的影响。对于新手来说,头一次入手Linux只会让你觉得不适。因为在Linux上,你通常应该使用终端命令,而不是只要点击启动器图像(就像你在Window…

    Linux 2025年1月1日
  • Linux部署jar包过程

    Linux部署jar包 部署jar包需要注意: Linux和你jar的jdk中的版本一定要是一致的 需要导入打包的插件,这样我们的jar包才是可运行的 数据库的密码大概率是不一致的…

    Linux 2025年2月24日
  • iptables配置(/etc/sysconfig/iptables)操作方法

    如下所示: iptables -A INPUT -p tcp –dport 22 -j ACCEPT iptables -A INPUT -p tcp –d…

    Linux 2025年1月1日
  • Linux下connect超时处理(总结)

    1、前言 最近在写一个测试工具,要求快速的高效率的扫描出各个服务器开放了哪些端口。当时想了一下,ping只能检测ip,判断服务器的网络是连通的,而不能判断是否开放了端口。我们知道端…

    2025年1月1日
  • 详解Linux系统配置nginx的负载均衡

    详解Linux系统配置nginx的负载均衡 负载均衡的几种方式: 1.轮询:默认按照时间顺序对所有服务器一个一个的访问,如果有服务器宕机,会自动剔除; 2.weight:服务器的方…

    Linux 2025年1月1日

发表回复

登录后才能评论