分类 未分类 下的文章

rsync配合inotify做服务器间文件同步

由于需要添加下载服务器,现在每台服务器的流量比较大了,需要扩充,也就需要多服务器文件同步,本篇文章是在debian下操作的。
1:安装rsync

apt install rsync

2:修改配置文件(/etc/rsyncd.conf)

uid=root
gid=root
use chroot=no
max connections=10
timeout=600
strict modes=yes
port=873
#以下pid等等建议更换位置
pid file=/var/run/rsyncd.pid 
lock file=/var/run/rsyncd.lock
log file=/var/log/rsyncd.log

[apks]
path=/tmp/n2/
comment=rsync test logs
auth users=ciika
uid=root
gid=root
secrets file=/etc/rsyncd.secrets
read only=no
list=no

注意:上面[apks]如果不需要也可以不指定
3:配置用户名密码
/etc/rsyncd.secrets

ciika:ciika@2019

设置权限

chmod 600 /etc/rsyncd.secrets

4:配置客户端密码
/etc/rsync_client.pwd

ciika@2019

设置权限

chmod 600 /etc/rsync_client.pwd

以上3和4步骤分为两个端配置使用

5:启动
启动命令

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

6:同步命令
假如A向远端B同步数据
需要在A上指定/etc/rsync_client.pwd,在B上配置好apks

/usr/bin/rsync -auvrtzopgP --progress --password-file=/etc/rsync_client.pwd /home/files/ ciika@172.26.31.130::apks

7:安装 inotify

apt-get install inotify-tools

8:rsync组合inotify-tools完成实时同步
大概原理是inotify监控的文件发生变化,通知rsync进行同步,同时建议没固定的时间在全量同步一次
大概脚本为:

#!/bin/bash
src=/home/files/   # 需要同步的源路径
des=apks     # 目标服务器上 rsync --daemon 发布的名称,rsync --daemon这里就不做介绍了,网上搜一下,比较简单。
rsync_passwd_file=/etc/rsync_client.pwd    # rsync验证的密码文件
destip=172.26.31.130 # 目标服务器1
user=ciika    # rsync --daemon定义的验证用户名
cd $src     
inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file # 把监控到有发生更改的"文件路径列表"循环
do
INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify输出切割 把文件路径部分赋值给INO_FILE
echo "-------------------------------$(date)------------------------------------"
echo $file
#增加、修改、写入完成、移动进事件
if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]] # 判断事件类型
then
    echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'
    rsync -vlrtR --password-file=$rsync_passwd_file $(dirname $INO_FILE) $user@$destip::$des
fi
#删除、移动出事件
if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
then
    echo 'DELETE or MOVED_FROM'
    rsync -avzR --delete --password-file=$rsync_passwd_file $(dirname $INO_FILE) $user@$destip::$des
fi
#修改属性事件 指 touch chgrp chmod chown等操作
if [[ $INO_EVENT =~ 'ATTRIB' ]]
then
    echo 'ATTRIB'
    if [ ! -d "$INO_FILE" ] # 如果修改属性的是目录 则不同步,因为同步目录会发生递归扫描,等此目录下的文件发生同步时,rsync会顺带更新此目录。
    then
        rsync -avzcR --password-file=$rsync_passwd_file $(dirname $INO_FILE) $user@$destip::$des
    fi
fi
done

常见错误:
@ERROR: invalid uid
注意uid是否在远程服务器上存在,建议改成root试试
还有一种是验证失败,需要确定命令里面的用户名和远程配置的是否一致,本地和远程的密码是否一致
另外如果rsync同步速度非常慢,需要看看是否在传输列表的时候消耗的太长时间,如果是,可以直接精准的传输改变的文件。

Gitlab安装和迁移

Gitlab做迁移,有一些麻烦,有如下结论:
1:Gitlab版本要完全一致,mysql版本最好一致(不能相差太大),服务器版本可以不一样(例如:迁移前环境为centos6.5,迁移后环境为centos7.4)
2: 以前如果是用的mysql,那么迁移后也需要用到mysql,缺省情况下,当你安装了gitlab的omnibus安全包后,缺省是不提供mysql2的gem,因此你无法配置为使用mysql数据库,只有Gitlab的OmniBus EE版本可以使用mysql数据库

一、准备工作
1:安装mysql,这里需要和原服务器一样版本的mysql,按需安装。
2: 安装相关依赖

yum -y update
yum whatprovides libmysqlclient*
yum install gcc automake autoconf libtool make
yum install gcc gcc-c++
yum install ruby-devel
yum -y group install "development tools"
yum -y install vim cmake wget
yum -y install readline-devel gdbm-devel openssl-devel expat-devel sqlite-devel libyaml-devel libffi-devel libxml2-devel libxslt-devel libicu-devel system-config-firewall-tui python-devel xmlto logwatch perl-ExtUtils-CBuilder

3:按需卸载gitlab版本
gitlab-ctl stop
rpm -qa|grep git 查看后删除
find / -name "gitlab" | xargs rm -rf
find / -name gitlab |xargs rm -rf

上面工作做好后重启机器

二、正式安装

#cent7 对应的安装包 rpm
具体要下载哪些版本去这个地方下载https://www.gitlab.com.cn/downloads/archives/
例如我的是:

curl -O https://downloads-packages.s3.amazonaws.com/centos-6.5/gitlab-7.2.1_omnibus-1.el6.x86_64.rpm

#安装对应的 openssh服务
yum install openssh-server
#设置开机启动
systemctl enable sshd
#启动sshd服务
systemctl start sshd

安装对应的 postfix服务同样设置开机启动和启动服务
yum install postfix
systemctl enable postfix
systemctl start postfix

#使用rpm 源安装,gitlab omnibus安装包
rpm -i gitlab-7.2.1_omnibus-1.el6.x86_64.rpm
#安装完成之后会出现complete,并提示你配置gitlab

#安装完成之后,配置gitlab
gitlab-ctl reconfigure

#设置服务器的防火墙允许http,和ssh服务
firewall-cmd --permanent --add-service=http

#重新启动防火墙
systemctl reload firewalld

#给gitlab服务绑定域名
vim /etc/gitlab/gitlab.rb
#填写你指定的绑定域名和端口,默认是80端口
external_url 'http://gitlab.ciika.com'

#重新启动一下服务
gitlab-ctl restart

#浏览器,打开绑定的域名及端口,访问
#默认的用户名是 root,密码是 5iveL!fe 登陆成功之后,会修改密码

三、恢复数据:
准备工作:

1:数据库赋权:

GRANT ALL PRIVILEGES ON *.* TO 'gitlab'@'127.0.0.1' identified by 'gitlab';
flush PRIVILEGES;

2:修改链接为mysql

gitlab_rails['db_adapter'] = 'mysql2'
gitlab_rails['db_encoding'] = 'utf8'
gitlab_rails['db_pool'] = 10
gitlab_rails['db_host'] = '127.0.0.1'
gitlab_rails['db_port'] = '3306'
gitlab_rails['db_database'] = 'gitlabhq_production'
gitlab_rails['db_username'] = 'gitlab'
gitlab_rails['db_password'] = 'gitlab'
postgresql['enable'] = false

3:修改config,由mysql改成postgres
/opt/gitlab/embedded/service/gitlab-rails/.bundle/config
修改后为:

BUNDLE_WITHOUT: development:test:postgres

4:安装mysql2

cd /opt/gitlab/embedded/bin/
./gem install -i /opt/gitlab/embedded/service/gem/ruby/2.1.0 mysql2 -v0.3.16

一定要注意-v0.3.16,如果后续报错(Could not find mysql2-0.3.16 in any of the sources),就是这里的版本弄错了

5:检查
gitlab-rake gitlab:check
这里一定要是成功的,如果不成功,看看那个依赖没有安装

6: 初始化Mysql数据,输入yes即可
gitlab-rake gitlab:setup

导入数据:
首先把之前备份的数据放置到/var/opt/gitlab/backups目录下
格式需要为xxx_gitlab_backup.tar
gitlab-rake gitlab:backup:restore
耐心的等待各个仓库的导出,成功后即可用之前的用户名和密码登录

可能会遇到如下报错:
Error: "You have to install development tools first."

Restoring repositories ...
rake aborted!
ActiveRecord::StatementInvalid: PG::Error: ERROR: relation "projects" does not exist
LINE 1: SELECT "projects".* FROM "projects" ORDER BY "projects"."...
^
: SELECT "projects".* FROM "projects" ORDER BY "projects"."id" ASC LIMIT 1000
PG::Error: ERROR: relation "projects" does not exist
LINE 1: SELECT "projects".* FROM "projects" ORDER BY "projects"."...
^
Tasks: TOP => gitlab:backup:repo:restore
(See full trace by running task with --trace)

如果在添加SSH KEY的时候报错:ssh key Fingerprint cannot be generated
编辑<path-to-gitlab>/app/models/key.rb
例如我的是:
/opt/gitlab/embedded/service/gitlab-rails/app/models/key.rb
原本是:cmd_output, cmd_status = popen(%W(ssh-keygen -lf #{file.path}), '/tmp')
改成:cmd_output, cmd_status = popen(%W(ssh-keygen -E md5 -lf #{file.path}), '/tmp')
重启问题解决

centos7.x 安装 MySQL 5.5

centos7默认自带的是mariadb,有些旧业务需要老版本的mysql
卸载原有mariadb

// 检索是否安装了mariadb
# rpm -qa | grep mariadb
mariadb-5.5.56-2.el7.x86_64
mariadb-devel-5.5.56-2.el7.x86_64
mariadb-libs-5.5.56-2.el7.x86_64
mariadb-server-5.5.56-2.el7.x86_64
// 卸载mariadb
# rpm -e --nodeps mariadb-5.5.56-2.el7.x86_64 mariadb-devel-5.5.56-2.el7.x86_64 
mariadb-libs-5.5.56-2.el7.x86_64 mariadb-server-5.5.56-2.el7.x86_64
// 设置rmp 
# rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
# rpm -Uvh https://mirror.webtatic.com/yum/el6/latest.rpm
// 下载安装MySql client and server
# yum install mysql55w mysql55w-server
// 启动MySql
# service mysqld start
// 修改密码(初始密码为空)
# mysqladmin -u root password 'root'
// 登录
# mysql -u root -p

vmware虚拟机的centos密码重置

centos里面的密码忘记了,需要重置密码,如果是物理机,此篇文章不适用,此篇文章适合vmware里面安装的centos忘记密码,总共有如下几步:
1:启动虚拟机,出现下面的倒计时界面时,按键盘上的e键.
e1.png
2:进入如下后界面,再按e键
e2.png
3:进入如下界面后,使用键盘上的上下键,选中第二项以kernel开头的项。选中后,再次按e键。
e3.png
4:进入以下界面后,在最后面输入空格和s,然后回车。
e4.png
5:接着会回到如下界面,然后按下b键(b代表boot启动)
e5.png
6:进入如下界面:
e6.png
7:此时输入passwd root回车, 重置密码
8:输入密码,回车,确认密码,回车,输入reboot,回车

参考:
https://blog.csdn.net/wyx_wyl/article/details/78246907