因k8s集群内核做升级调整,重启服务器后,部分pod一直处于ContainerCreating状态
describle pod 有如下信息
1、提示挂载点被使用

Warning  FailedMount  15s        kubelet, node-2    MountVolume.WaitForAttach failed for volume "pvc-504feeb6-ae42-45ba-996b-5e8e1039b601" : rbd image kube/kubernetes-dynamic-pvc-bbfd3466-9f2f-11ea-8e91-5a4125e02b87 is still being used

解决方法:
查出使用的Ip加入黑名单,再重启pod

2、提示需要fsck

MountDevice failed for volume "mysql" : 'fsck' found errors on device /dev/disk/by-path/ip-8.8.8.8:3260-iscsi-iqn.2003-10.com.lefthandnetworks:cd-lab:1426:bigmysql-lun-0 but could not correct them: fsck from util-linux 2.23.2 

解决方法:
到对应节点进行fsck -y /dev/rbd编号
3、空间满导致
有的pod 每次启动会产生很多日志,如果分配的空间比较小,遇到多次重启会导致空间满。需要进行扩容
4、 以上2、3两种情况并存
这几天就处理了一个2、3,按2、3处理方法处理

最后修改日期: 2022年5月16日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。