K8S证书 kubernetes 证书

Kubernetes集群证书过期解决办法

Posted on 2021-11-19,6 min read

问题现象

K8S集群证书过期后,会导无法创建Pod,通过kubectl get nodes也无法获取信息,甚至dashboard也无法访问。

一、确认K8S证书过期时间

查看k8s某一证书过期时间:

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text | grep Not

显示如下,通过下面可看到证书有效期是1年,从2021到2022年:
img
其它证书同理,K8s各个证书过期时间如下:

/etc/kubernetes/pki/apiserver.crt           #1年有效期
/etc/kubernetes/pki/front-proxy-ca.crt        #10年有效期
/etc/kubernetes/pki/ca.crt              #10年有效期
/etc/kubernetes/pki/apiserver-etcd-client.crt    #1年有效期
/etc/kubernetes/pki/front-proxy-client.crt      #1年有效期
/etc/kubernetes/pki/etcd/server.crt         #1年有效期
/etc/kubernetes/pki/etcd/ca.crt           #10年有效期
/etc/kubernetes/pki/etcd/peer.crt          #1年有效期
/etc/kubernetes/pki/etcd/healthcheck-client.crt  #1年有效期
/etc/kubernetes/pki/apiserver-kubelet-client.crt  #1年有效期

或使用统一命令查看

kubeadm alpha certs check-expiration

二、使用延长证书过期的方法解决K8S证书过期问题

K8S在过期之前,使用kubeadm alpha phase里的certs和kubeconfig命令,同时配合kubelet证书自动轮换机制来解决这个问题(具体操作可以百度搜索),这里介绍证书已经过期的解决方法,以下延长证书过期的方法适合kubernetes1.14、1.15、1.16、1.17、1.18版本。操作步骤如下:

2.1 下载update-kubeadm-cert.sh

https://github.com/yuyicai/update-kube-cert

2.2 把update-kubeadm-cert.sh文件上传到k8s各节点任意位置

2.3 在每个节点都执行如下命令

1)给update-kubeadm-cert.sh证书授权可执行权限

chmod +x update-kubeadm-cert.sh

2)执行下面命令,修改证书过期时间,把时间延长到10年

./update-kubeadm-cert.sh all

3)在master节点查询Pod是否正常,能查询出数据说明证书签发完成

注:执行命令时需要断开连接重新连接命令才生效

kubectl  get pods -n kube-system

显示如下,能够看到pod信息,说明证书签发正常:
img

4)重启kubelet

systemctl restart kubelet

三、验证证书有效时间是否延长到10年

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text  | grep Not

显示如下,通过下面可看到apiserver证书有效期是10年,从2021到2031年:
img

其它证书同理进行验证,或使用统一查看命令

kubeadm alpha certs check-expiration
img

1. 只更新 master 证书

小于等于 v1.9 版本,etcd 默认不使用 TLS 连接,没有 etcd 相关证书,只需要更新 master 证书即可

如果有多个 master 节点,在每个 master 节点都执行一次

./update-kubeadm-cert.sh master

将更新以下 master 证书和 kubeconfig 配置文件

/etc/kubernetes
├── admin.conf
├── controller-manager.conf
├── scheduler.conf
├── kubelet.conf
└── pki
    ├── apiserver.crt
    ├── apiserver-kubelet-client.crt
    └── front-proxy-client.crt

2. 使用脚本处理后证书是延续 10 年吗?

准确来说并不是

kubeadm 签发的 CA 默认有效期是 10 年 (从 init 集群那一刻开始算),当 CA 到期后,整套证书体系都失效了

也就是说,10 年有效期是从 init 集群那一刻开始算的,不是从执行脚本更新证书那一刻开始算

3. kubeadm 证书相关命令发展

  • v1.8 版开始提供了证书生成命令 kubeadm alpha phase certs <cert_name>
  • v1.13 版开始证书生成命令改为 kubeadm init phase certs <cert_name>
  • v1.15 版增加了证书更新命令 kubeadm alpha certs renew <cert_name>(这个命令与上面两个区别是:上面两个是生成证书,这个是更新证书),v1.15 版之后可使用 kubeadm alpha certs renew <cert_name> 来更新证书

4. kubeadm 命令更新证书手动处理

使用该脚本更新证书,不涉及下面这个 bug,无需手动处理

bug 见 https://github.com/kubernetes/kubeadm/issues/1753 ,这个bug 在 1.17 版修复

针对小于 1.17版本 ,使用 kubeadm alpha certs renew <cert_name> 来更新证书

kubeadm alpha certs renew 并不会更新 kubelet 证书(kubelet.conf 文件里面写的客户端证书),因为 kubelet 证书是默认开启自动轮回更新的,但是在执行 kubeadm init 的 master 节点的 kubelet.conf 文件里面的证书是以 base64 编码写死的 (类似 controller-manager.conf 里面的证书)

在用 kubeadm 命令更新 master 证书时需要手动将 kubelet.conf 文件的 client-certificate-dataclient-key-data 改为:

client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pem
client-key: /var/lib/kubelet/pki/kubelet-client-current.pem

5. 更新slave证书

v1.7.5版本使用 #1 中./update-kubeadm-cert.sh master,没有自动更新 slave 节点。(高版本不会出现这个问题,会自动更新 slave 节点)。

slave 中具体报错为Failed to list *v1.Pod: the server has asked for the client to provide credentials (get pods)

解决办法: 在 master 中查看 token, 在 slave 中使用 kubeadm join

下一篇: 使用kubekey 更新K8S证书→