Kubernetes Pod cannot allocate memory

問題:

在檢查pod event時，出現以下的error log:

unable to ensure pod container exists: failed to create container for [kubepods burstable pod52610281-d2fe-438b-bc34-ec6c18621a99] : mkdir /sys/fs/cgroup/memory/kubepods/burstable/pod52610281-d2fe-438b-bc34-ec6c18621a99: cannot allocate memory

處理過程:

第一時間看到錯誤集中出現在某一台node上，先cordon有問題的node, 不要再讓pod被排程進來，pod schedule到其他node上是好的，所以針對該node查找問題。

檢查:

$ cat /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo
Input/output error  # 無memory leak

$ cat /sys/fs/cgroup/memory/kubepods/memory.kmem.slabinfo

slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
# 有memory leak

解決方法:

1. 這個問題是cgroup bug(memory leak)最快的方式就是，Drain後重啟該node,不過一陣子後還是會發生。

2. 更新kernel到5.14.7-1.el7.elrepo.x86_64 後解決。

其他方式可參考: https://zhuanlan.zhihu.com/p/343031257