k8s pod节点调度及k8s资源优化
一、k8s pod 在节点间调度控制

k8s起pod时,会通过调度器scheduler选择某个节点完成调度,选择在某个节点上完成pod创建。
当需要在指定pod运行在某个节点上时,可以通过以下几种方式:

  1. 在部署pod的yaml中,指定nodeName

指定了nodeName的Pod会直接跳过Scheduler的调度逻辑,直接写入PodList列表,该匹配规则是强制匹配。
eg:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: tomcat-deploy
spec:
replicas: 1
template:
metadata:
labels:
app: tomcat-app
spec:
nodeName: k8s.node1 #指定调度节点为k8s.node1
containers:

  • name: tomcat
    image: tomcat:8.0
    ports:
  • containerPort: 8080
  1. 在部署pod的yaml中,指定NodeSelector
    通过kubernetes的label-selector机制进行节点选择,由scheduler调度策略MatchNodeSelector进行label匹配,调度pod到目标节点,该匹配规则是强制约束。启用节点选择器的步骤为:
    起pod步骤:

i. 先给node打上对应的label

标记规则:kubectl label nodes =

kubectl label nodes k8s.node1 cloudnil.com/role=dev

确认标记

root@k8s.master1:~# kubectl get nodes k8s.node1 --show-labels
NAME STATUS AGE LABELS
k8s.node1 Ready 29d beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,cloudnil.com/role=dev,kubernetes.io/hostname=k8s.node1

ii. 起pod的时候,在yaml中指定nodeSelector

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: tomcat-deploy
spec:
replicas: 1
template:
metadata:
labels:
app: tomcat-app
spec:
nodeSelector:
cloudnil.com/role: dev #指定调度节点为带有label标记为:cloudnil.com/role=dev的node节点
containers:

  • name: tomcat
    image: tomcat:8.0
    ports:
  • containerPort: 8080
  1. 使用污点(Taint)
    taint是k8s 1.6版本开始提供的功能,在k8s同样用于节点调度的,还有一个容忍(Tolerations)功能
    污点的组成为
    key=value:effect

effect支持的类型包括一下三类:
NoSchedule:表示k8s将不会将Pod调度到具有该污点的Node上
PreferNoSchedule:表示k8s将尽量避免将Pod调度到具有该污点的Node上
NoExecute:表示k8s将不会将Pod调度到具有该污点的Node上,同时会将Node上已经存在的Pod驱逐出去
当希望起pod的时候,某个node不参与调度,可以给这个node加上一个NoSchedule的污点,eg:

设置污点

kubectl taint nodes kube-node1 key1=value1:NoSchedule

去除污点

kubectl taint nodes kube-node1 key1:NoSchedule-
此污点可以通过kubectl describe node 查看

  1. 容忍(tolerance)
    当参与taint给node打算NoSchedule的污点之后,pod无法调度到该节点上运行,但有时我们希望某些pod仍然能运行到该node上时,可以通过在部署pod的yaml中添加tolerance,使pod能跳过污点,调度到对应节点上:

eg:
tolerations:

  • key: "key1"
    operator: "Equal"
    value: "value1"
    effect: "NoSchedule"
    tolerationSeconds: 3600
  • key: "key1"
    operator: "Equal"
    value: "value1"
    effect: "NoExecute"
  • key: "key2"
    operator: "Exists"
    effect: "NoSchedule"

其中:
operator为Equal时,key, vaule, effect要与Node上设置的taint保持一致
operator为Exist时,将会忽略value的值
tolerationSeconds指当pod需要被驱逐时,仍能在node上保留运行的时间
当tolerance不指定effect时,将容忍污点的所有作用
tolerations:

  • key: "key"
    operator: "Exists"
  1. cordon/uncordon/drain
    这几个命令用于k8s节点维护,用法:
    kubectl cordon
    此时通过

kubectl get node -o wide
可以看到node的状态为scheduleDisable,即该节点为不可调度状态。

可以通过uncordon来恢复node状态:
kubectl uncordon
当cordon node之后,原来运行在node上的pod,当超过保活周期之后,将会重新调度在其他node上运行。如果想让pod马上实现迁移,可以使用drain完成。

drain:标记节点为不可调度,并驱逐节点上的pod,用法:
kubectl drain
注意:drain不只是当node被cordon时才适用,其实当node正常运行时,也可以用drain将运行在该node的pod驱赶出去

二、k8s(node节点资源)优化设置

在k8s节点中通过ExecStart=/usr/bin/kubelet设置系统保留资源来提高node节点的稳定行。

涉及到的参数:1.--system-reserved
2.--kube-reserved

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
添加参数:
1:设置预留系统服务的资源
--system-reserved=cpu=200m,memory=1G

2:设置预留给k8s组件的资源(主要组件)
--kube-reserved=cpu=200m,memory=1G
系统内存--sytem-reserved --kube-reserved就是可以分配给pod的内存

3.驱逐条件
--eviction-hard=memory.available<500Mi,nodefs.available<1Gi,imagefsavailable<100Gi

4.最小驱逐
--eviction-minimum-reclaim="memory.available<0Mi,nodefs.available<500Mi,imagefsavailable<2Gi"

5.节点状态更新时间
--node-status-update-frequency=10s

6.驱逐等待时间
--eviction-pressure-transition-period=20s

最后修改日期:2021年4月16日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。