[우분투22.04] watchdog: BUG: soft lockup - CPU#0 stuck for 23s! [containerd-shim:3292]

watchdog: BUG: soft lockup 에러

"watchdog: BUG: soft lockup" 에러는 리눅스 시스템에서 발생할 수 있는 소프트 락업(soft lockup) 상황을 나타내는 경고 메시지입니다. 이러한 에러는 일반적으로 CPU가 장시간 동안 사용 중인 상태로 보고되지 않는 경우에 발생합니다. 이 문제를 해결하기 위해 다음과 같은 단계를 시도할 수 있습니다.

 

1. 최신 커널 업데이트: 우선, 시스템에 적용 가능한 최신 커널 패치 및 업데이트가 있는지 확인하십시오. 새로운 커널 버전에는 소프트 락업과 관련된 문제에 대한 수정 사항이 포함되어 있을 수 있습니다.
2. 하드웨어 문제 확인: 소프트 락업은 하드웨어 문제에 의해 발생할 수도 있습니다. 메모리, CPU, 디스크 등과 같은 시스템 하드웨어를 점검하여 이상이 없는지 확인하십시오. 메모리 오류를 확인하기 위해 메모리 테스트 도구인 Memtest86+를 실행하는 것도 좋은 방법입니다.
3. 시스템 로그 확인: "/var/log/messages"와 같은 시스템 로그 파일을 확인하여 추가적인 오류 메시지 또는 관련된 정보를 찾아볼 수 있습니다. 다른 오류 메시지나 경고가 함께 나타날 수 있으며, 이를 기반으로 문제 해결 방법을 찾을 수 있습니다.
4. 모듈 또는 드라이버 업데이트: 시스템에 사용되는 모듈이나 드라이버에 문제가 있을 수 있습니다. 관련 모듈이나 드라이버를 최신 버전으로 업데이트하고, 필요한 경우 관련된 설정을 확인하십시오.
5. 커널 파라미터 조정: "soft lockup" 에러와 관련된 커널 파라미터를 조정하여 문제를 해결할 수도 있습니다. 예를 들어, "kernel.softlockup_panic" 값을 1로 설정하여 시스템이 락업 상태일 때 패닉을 발생시키도록 설정할 수 있습니다. 하지만 이 방법은 패닉 상황에서 시스템을 정지시키므로 주의해야 합니다.
6. 커널 재설치: 모든 시도가 실패하고 소프트 락업이 지속되는 경우, 커널을 완전히 재설치하는 것을 고려할 수 있습니다. 이는 시스템의 최소한의 구성으로 새로운 커널을 설치하고 문제를 해결할 수 있습니다.

이러한 단계를 따라 시도해보고 여전히 문제가 지속되는 경우, 관련된 디버깅 정보와 함께 리눅스 커뮤니티나 지원 포럼에 질문을 올려보는 것도 좋은 방법입니다.

 

테스트 환경

$ cat /etc/os-release 
PRETTY_NAME="Ubuntu 22.04.1 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.1 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=jammy

커널(kernel) 로그 확인

cat /var/log/kern.log

Nov  7 11:00:05 kube-control1 kernel: [ 5641.225770] watchdog: BUG: soft lockup - CPU#0 stuck for 63s! [containerd-shim:2130]

커널 파라미터 확인

cat /proc/sys/kernel/watchdog_thresh

$ cat /proc/sys/kernel/watchdog_thresh
10

해결 방법

echo "kernel.watchdog_thresh = 20" >> /etc/sysctl.conf

sysctl -p

$ sysctl -p
kernel.watchdog_thresh = 20