Kubernetes Pod Restarts 반복현상

새롭게 작업한 브랜치 이미지를 Kubernetes에 업데이트 할 때 Restarts가 계속해서 

발생하는 현상이 발생했습니다.

 

3시간 정도 Restarts가 50번정도 일어나고 해당 이미지가 pod업데이트 되었는데

그 다음 회 업데이트 때도 같은 문제가 발생했고, 이때는 pod가 비정상적으로 빨간에러가

계속해서 나타나 결국, 이전버젼으로 롤백을 했습니다.

 

해당 문제가 Restarts가 계속 나는것을 기다려야 해결되는문제인지 이미지가 잘못되어

정상업데이트가 안된 것 인지 확인하는 방법을 몰라서 몇번의 삽질 끝에 결과를 찾아서

공유합니다.

 

먼저 저의경우 파드가 정상적으로 업데이트 하지못한 이유는 이미지가 잘못 말려올라가서 였습니다.

저의 경우 네이버 클라우드를 사용중인데 

네이버클라우드 콘솔 > Container Registry > 각자 Registry > tags에서 확인해보면 이미지 사이즈를

확인할 수 있는데 이떄 이미지 사이즈가 정상배포 된 다른이미지와 확연하게 차이가 났습니다.

 

확인결과 이미지를 빌드할때 배치파일을 사용하는데, 이때 한 구문에서 에러가 발생하면서 정상

이미지가 만들어지지 못했던 것 이었습니다.

 

이제 마지막 문제로는 정상적으로 이미지가 올라갈때도 Pod Restarts 가 비정상적으로 많이

일어난다는 것인데 이 문제는 yaml파일에 initialDelaySeconds 설정 문제였습니다.

 

해당 설정은 몇초의 시간이 지났을 때 재시작을 하는가에 대한 설정인데 초기에 10으로 설정되어

있어서 이미지에 같이 올라간 서버가 전부 켜지기 전에 재시작을 해버려서 계속 Restarts가 발생했던 것

이었습니다.

 

결국 해당 Deployments의 yaml파일에서 livenessProbe: 와 readinessProbe:의 하위 항목들에 

initialDelaySeconds : 30 으로 추가하거나 수정하였더니 Restarts 가 계속해서 반복되는 현상이

없어졌습니다.