Keepalived

Centos7.4 Keepalived安装配

Posted on 2020-11-06，10 min read

keepalive：最主要的目的是能够自己调用ipvsadm命令来生成规则，并且能够自动实现将用户需求的访问地址转移到其他节点上来实现的。

keepalive：在一个节点上提供VIP向外提供服务，将用户的请求转发到后端的realservel上去。

一个dearicter有两个资源进行工作：

1、向外的VIP；

2、在内核中生效的ipvs规则

keepalive自身启动一个服务，它能够工作在两个节点上（也可以是多个节点），其中当前持有资源的节点称为活动节点Master，另一个称为备用节点backup，；对于Master和backup来讲，Master这个节点会不停的向backup这个节点通告心跳，但他的通告是基于VRRP这种机制来实现的，Master这个节点会一直处于存活状态的，备用节点backup一旦接收不到主节点的心跳传递过来的VRRP信息之后，他就会把资源抢过来在本地使用并在本地生效规则；
这个规则的生效是：本地有个服务，它只需要把本地的keepalive的那个生效服务中的某个模块把他生效起来就可以了，所以keepalive自身是模块化设计的，它有着诸多模块；有些模块是监控生效ipvs的，去监控配置文件中跟ipvs相关的一些应用；他的主要目的是为ipvs提供高可用性，keepalive除了能实现资源转移之外，还能自身调用ipvs命令来生成规则；而且还能够实现后端realserver的健康状态检测。

keepalive的核心：
1、vrrp的实现；
vrrp：是虚拟冗余路由协议；能把两个网关虚拟成一个网关来使用。
2、跟vrrp相关的一些配置：vrrp server
3、vrrp_script 调用vrrp脚本的实现

对keepalive他的架构是一个主进程称为Mster进程，在一个主进程下回生产两个子进程，一个是用来实现vrrp（keepalive的核心是vrrp），第二个是checkers（检测服务检测可用性）是提供ipvs后端realserver的健康状态检测的;
VRRP每个虚拟路由中的每个节点是有优先级的，优先级是从,0—255，0和255有特殊用法一般不用，一般来讲数字越大，优先级越高;谁是Master谁是Backup是由选举产生的，谁的优先级越高，谁是Master；
keepalive是轻量级，适用于节点少的场景；支持多个节点，但是对于同一组服务来讲，仍然跟此前的法则一样，只能有一个节点是活动的，因为VIP只能在一个节点上运行，所他是一主多从的模式；可以有一个主Master多个backup；但是backup越大浪费越大，资源占用越大

不能让其他节点随意加到集群中来：要通过认证来解决:
VRRP认证有两种认证：一种是明文认证，双方都配置好域共享密钥这种明文字符串；第二种：可以实现md5或sha1散列这种认证；
yum install ansible
如果时间不同步执行：# netdate 172.16.0.1 从主机上同步时间

安装

Centos7.4

yum install keepalived

Master服务器配置

vim /etc/keepalived/keepalived.conf

global_defs {
## keepalived 自带的邮件提醒需要开启 sendmail 服务。 建议用独立的监控或第三方 SMTP
   router_id LVS_DEVEL
}
## keepalived 会定时执行脚本并对脚本执行的结果进行分析，动态调整 vrrp_instance 的优先级。如果脚本执行结果为 0，并且 weight 配置的值大于 0，则优先级相应的增加。如果脚本执行结果非 0，并且 weight配置的值小于 0，则优先级相应的减少。其他情况，维持原本配置的优先级，即配置文件
中 priority 对应的值。
vrrp_script chk_nginx {
script "/etc/keepalived/chk_nginx.sh" ## 检测 nginx 状态的脚本路径
interval 2 ## 检测时间间隔
weight -20 ## 如果条件成立，权重-20
}
## 定义虚拟路由， VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
   state MASTER ## 主节点为 MASTER， 对应的备份节点为 BACKUP
   interface ens192 ## 绑定虚拟 IP 的网络接口，与本机 IP 地址所在的网络接口相同， 我的是 eth0
   virtual_router_id 33 ## 虚拟路由的 ID 号， 两个节点设置必须一样， 可选 IP 最后一段使用, 相同的 VRID 为一个组，他将决定多播的 MAC 地址
   priority 100 ## 节点优先级， 值范围 0-254， MASTER 要比 BACKUP 高
   nopreempt ## 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
   advert_int 1 ## 组播信息发送间隔，两个节点设置必须一样， 默认 1s
## 设置验证信息，两个节点必须一致
authentication {
   auth_type PASS
   auth_pass 1111 ## 真实生产，按需求对应该过来
}
## 将 track_script 块加入 instance 配置块
track_script {
   chk_nginx ## 执行 Nginx 监控的服务
} #
# 虚拟 IP 池, 两个节点设置必须一样
virtual_ipaddress {
   10.213.103.30 ## 虚拟 ip，可以定义多个
}
}
virtual_server 10.213.103.30 80 {
    delay_loop 6
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP

    real_server 10.213.103.30 80 {
        weight 1
        TCP_CHECK{
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

Backup服务器配置

vim /etc/keepalived/keepalived.conf

global_defs {
  router_id LVS_DEVEL
}
vrrp_script chk_nginx {
  script "/etc/keepalived/chk_nginx.sh"
  interval 2
  weight -20
}
vrrp_instance VI_1 {
  state BACKUP
  interface ens192
  virtual_router_id 33
  priority 90
  advert_int 1
  authentication {
  auth_type PASS
  auth_pass 1111
}
track_script {
  chk_nginx
}
virtual_ipaddress {
  10.213.103.30
}
}
virtual_server 10.213.103.30 80 {
    delay_loop 6
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP

    real_server 10.213.103.130 80 {
        weight 1
        TCP_CHECK{
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 10.213.103.131 80 {
        weight 1
        TCP_CHECK{
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}

配置检测脚本

vim /etc/keepalived/chk_nginx.sh

=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then
systemctl start nginx
sleep 2
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
systemctl stop keepalived.service
fi
fi

配置完成后启动服务：

systemctl start keepalived     #启动
systemctl stop keepalived      #停止
systemctl restart keepalived   #重启
systemctl status keepalived    #查看状态

测试切换

Master 服务器上执行：

killall nginx

May 19 15:37:23 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP sockpool: [ifindex(2), proto(112), unicast(0), fd(10,11)]
May 19 15:37:24 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP_Instance(kube-master) Transition to MASTER STATE
May 19 15:38:13 wsjy-proxy01 Keepalived_vrrp[2163]: /usr/bin/killall -0 nginx exited with status 1
May 19 15:38:13 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP_Script(check-haproxy) failed
May 19 15:38:13 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP_Instance(kube-master) Changing effective priority from 120 to 90
May 19 15:38:14 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP_Instance(kube-master) Received advert with higher priority 110, ours 90
May 19 15:38:14 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP_Instance(kube-master) Entering BACKUP STATE
May 19 15:38:14 wsjy-proxy01 Keepalived_vrrp[2163]: VRRP_Instance(kube-master) removing protocol VIPs.

查看到MASTER切换为 BACKUP状态。

Keepalived日志配置

1、/usr/local/keepalived/etc/sysconfig/keepalived及/etc/sysconfig/keepalived最后的KEEPALIVED_OPTIONS改为"-D -d -S 0"

2、修改/etc/rsyslog.conf

*.info;mail.none;authpriv.none;cron.none /var/log/messages

改为

*.info;mail.none;authpriv.none;cron.none;local0.none /var/log/messages

末尾添加local0.* /var/log/keepalived.log

3、重启

systemctl restart rsyslog

4、 重启

systemctl restart keepalived

5、 keepalived日志路径/var/log/keepalived.log

6、执行ip addr检查vip在那台机器上

VIP切换通知配置

配置Linux邮件服务

yum remove sendmail
yum remove postfix

然后修改/etc/mail.rc，在文件末尾增加以下内容，指定外部的smtp服务器地址、帐号密码等

set from=发件邮箱
set smtp=smtp.qq.comset smtp-auth-user=用户
set smtp-auth-password=密码
set smtp-auth=login

测试

echo Hello World | mail -s "test" 管理员邮箱，多个之间以英文逗号分隔

在/etc/keepalived下新建notify.sh脚本并授予执行权限，内容如下

#!/bin/bash
# Author: MageEdu <linuxedu@foxmail.com>
# description: An example of notify script
#
vip=10.213.103.118
contact='管理员邮箱，多个以逗号分隔'

notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}
 
case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: `basename $0` {master|backup|fault}'
        exit 1
    ;;
esac

/usr/local/keepalived/etc/keepalived/keepalived.conf及/etc/keepalived/keepalived.conf中vrrp_instance VI_1中添加

notify_master "/etc/keepalived/notify.sh master"

notify_backup "/etc/keepalived/notify.sh backup"

开放防火墙访问

firewall-cmd --zone=public --add-rich-rule 'rule family="ipv4" source address="10.213.120.59" accept' --permanent

firewall-cmd --zone=public --add-rich-rule 'rule family="ipv4" source address="10.213.120.58" accept' --permanent

 firewall-cmd --reload

其他注意内容

A、如果在正式环境中，建议将添加回环地址作为开机启动项，并且keepalived 也配置成开机启动

B、如果使用了防火墙，务必允许keepalived使用的vrrp组播通过防火墙，否则虚IP会同时出现在主备两台机器上。

命令如下（网卡换成你的网卡即可）：

firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface [网卡] --destination 224.0.0.18 --protocol vrrp -j ACCEPT

firewall-cmd --reload

下一篇： 使用 kainstall 工具一键部署 kubernetes 高可用集群→

▲