에펨코리아 모바일 -  유머, 축구, 게임, 풋볼매니저 종합 커뮤니티

로그인 가입 메뉴
신청하기
2019.08.19 14:46

최근 주기적으로 발생한 일시 서버 장애에 대해 대응중

조회 수 24369 추천 수 133 댓글 169

시스템 모니터입니다.


최근 주기적으로 일시 서버 장애가 짧게는 몇 초, 길게는 10분 발생하고 있었는데,


머피의 법칙에 따라 어제 관련 부분 때문에 일부 서버를 재시작 했더니,

핵심 모니터링 서버의 SSD 가 불량 발생하고, 다른 백업 서버 또한 하드웨어 장애가 발생했습니다.

다만 해당 고장들은 에펨코리아 일시 장애 원인이 아니며, 제가 원인을 찾는 작업을 크게 방해하고 저에게 많은 고통을 줄 뿐입니다.


기존 서버 모니터링 방식에 해당 문제 원인이 명확하게 보이지 않아,

어제 거의 잠 안 자면서 오늘 아침에 새롭게 1초 마다 관련 서버 분석하는 모니터링 툴을 새롭게 구축하고 도입했습니다.

원인의 반 정도가 현재 분석 완료되었으나, 숨겨진 여러 문제들이 복합적으로 문제를 일으킨 것으로 보여 분석이 조금 걸릴 수 있습니다.

장애가 나야 분석이 되는데, 장애 핵심 원인이 실질적으로 3초 이내에 끝나서 분석이 쉽지 않습니다.


서버 안정성 위해 계속 작업 중입니다.

불편 끼쳐 드려서 죄송합니다.


[요약]

- 일하는 중


[경과]

2019-08-19 오전에 1초 마다 장애 원인 분석 위해 자동 모니터링 프로그램을 새롭게 구축

2019-08-19 14:33:36~15:03:09 로그에서 의심되는 락 문제가 발생

2019-08-19 15:03:45 숨겨진 다른 문제가 또 있을 가능성이 있으나, 응급 안정화 패치 적용함

2019-08-19 20:07 근본 원인을 찾은 것 같고, 서버 설정 작업 진행함


  1. 11월 7일 22:10 ~ 22:35 서버 장애 및 이후 일시적인 이상 현상 복구
  2. 11월 11일 월요일 오전 05:00 시에 네트워크 장비 교체 및 업그레이드 작업 예정입니다.
  3. 데이터베이스 장애 처리 및 업데이트 작업 진행 [6]

    2019.10.19 시스템모니터 조회378 추천-11
    데이터베이스 장애 처리 및 업데이트 작업 진행
  4. [복구 완료] 서버 장애 복구 완료되었습니다. [484]

    2019.10.10 시스템모니터 조회35939 추천-764
    [복구 완료] 서버 장애 복구 완료되었습니다.
  5. 서버 안정화 작업 진행 완료 [158]

    2019.08.19 시스템모니터 조회30854 추천50
    서버 안정화 작업 진행 완료
  6. 최근 주기적으로 발생한 일시 서버 장애에 대해 대응중
  7. 서버 응급 커널 교체 작업 및 부팅 작업 완료 [113]

    2019.08.10 시스템모니터 조회4601 추천-13
    서버 응급 커널 교체 작업 및 부팅 작업 완료
  8. 서버 회선 장애 복구에 대해 공지합니다 [86] 첨부파일

    2019.05.05 시스템모니터 조회22179 추천132
    서버 회선 장애 복구에 대해 공지합니다
  9. [해결완료] 서버에 회선 공급하는 통신사 장애가 발생 [63]

    2019.03.03 시스템모니터 조회25032 추천156
    [해결완료] 서버에 회선 공급하는 통신사 장애가 발생
  10. 2018년 6월 23일 새벽 3:10 부터 3:30 장애 발생했습니다.
  11. 일시적 서버 장애 및 관련 복구 작업 완료되었습니다.
  12. 3월 8일 오전 9:30에 서버 메인보드 교체 예정입니다. [37]

    2017.03.03 시스템모니터 조회6259 추천28
    3월 8일 오전 9:30에 서버 메인보드 교체 예정입니다.
  13. 서버 이전 후 장애 복구되었습니다. [95] 첨부파일

    2016.08.27 시스템모니터 조회16147 추천156
    서버 이전 후 장애 복구되었습니다.
  14. 새벽 4시~ 아침 11:30 까지 발생한 접속 장애 복구했습니다.
- +
1