에펨코리아 모바일 -  유머, 축구, 게임, 풋볼매니저 종합 커뮤니티

로그인 가입 메뉴
2019.08.27 12:31

포텐 에펨코리아 현재 서버 인프라 및 강화 계획

조회 수 57695 추천 수 473 댓글 324
안녕하세요, 에펨코리아의 엔지니어 업무를 맡고 있는 시스템 모니터입니다.
최근에 컨텐츠 관여를 어쩔 수 없이 여러 차례 공지를 했는데, 제 좋아하는 관심사는 오로지 IT이긴 합니다(일을 해야 하니 다른 사이트 사항도 어쩔 수 없이 관여하게 될 뿐... 관여하고 싶은 부분은 아님).

에펨코리아의 경우 
웹호스팅 → 일반 PC에 가정 회선 → 저가형 서버 호스팅 → IDC 코로케이션 → [현재] IDC 코로케이션, 클라우드 하이브리드 구조 + 독립 단독 회선을 포함한 다중 전용 네트워크 회선
으로 인프라가 발전했습니다.

대기업들은 관련 부분을 처음부터 자본으로 쉽게 고가 인프라로 구축이 쉽지만, 에펨코리아 같은 곳은 차례로 하나하나 인프라를 강화하면서 상당한 노력이 필요합니다. 자본도 문제이지만, 자본이 해결되더라도 돌아가고 있는 사이트에서 인프라를 업데이트하기 어렵습니다.

아래 글을 통해 현재의 에펨코리아 인프라를 일부 공개하며, 관련 인프라 강화 계획도 공개합니다.
1.
기본적으로 에펨코리아의 서버는 현재 100% 모두 기업용 CPU인 인텔 제온 계열을 사용합니다.
물론 지금 새롭게 구축하면 AMD 신규 Epyc2 라인업도 고려하겠지만, 한국에서 AMD는 아무리 가격이 저렴하더라도 당장 유통 및 A/S 문제가 많습니다.
제온 계열 CPU를 사용하는 장점은 듀얼 CPU 구성도 쉽게 사용 가능하고, ECC 메모리를 사용할 수 있습니다.
에펨코리아 서버는 100% 모두 자동으로 메모리 오류를 교정할 수 있는 ECC 메모리로 현재 운영되고 있습니다.
아래는 에펨코리아 현재 핵심 서버의 실제 CPU 돌아가는 모습이며, 모두 가상 코어가 아닌 물리적 실제 코어입니다(동시 접속자 많은 시기를 위해 충분한 여유폭을 둡니다):


2.
에펨코리아는 현재 파일 저장소 외에는 100% SSD 사용합니다.
처음에 자금 문제로 삼성 EVO를 사용했지만, 지금 새로 도입되는 서버는 100% 기업용 인텔이나 삼성 SSD를 사용합니다.
기업용 SSD의 장점은 단순 성능 외에도 반도체 자체가 더 품질 높아서 고장률이 적고, 또한 전력 보호 기능이 있습니다(power loss protection). SSD에 성능 때문에 일시적으로 메모리에 저장되는 데이터가 있는데, 전원을 확 뽑아버리면 기업용 SSD는 해당 메모리에 있는 데이터를 안전하게 저장할 수 있도록 임시 전력(축전기) 공급 장치가 내부에 있습니다. 해당 부분 때문에 전력 문제가 발생할 경우 기업용 SSD가 데이터 손실 방지에 절대적으로 유리합니다.

3.
파일 정소는 현재 일반 회전하는 형태의 디스크 기반이고, 중간에 SSD로 임시 저장되어 가속화되고 있으며, 해당 SSD 부분은 다시 메모리 캐싱으로 가속화됩니다.
현재 구조는
RAID 6 회전 디스크 ⎯(캐싱)→ 캐싱 전용 SSD ⎯(캐싱)→ 캐싱 전용 메모리 ⎯(캐싱)→ OS 메모리
동시에 디스크 3개가 고장나야 데이터가 손실되는 구조이며, 실제로 에펨코리아에 과거에 여러 차례 하드가 고장난 적이 있으나 서비스 중단 없이 디스크 교체를 시행했습니다.
또한 디스크가 고장 나면 여유 디스크가 하나 비상용으로 연결되어 있어, 자동으로 데이터 복제가 즉시 일어납니다(hot spare).
전원 문제가 생길 때 데이터 소실을 방지하기 위해 해당 캐싱 전용 메모리도 임시 전력(축전기) 공급 장치가 연결되어 있습니다.
교체 예정: 파일 서버를 100% SSD 서버로 교체할 계획입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

4.
에펨코리아는 현재 4개의 회선 업체와 계약해서 서비스를 운영 중입니다.
한달에 약 550,000 GB 전송하고 있으며, DVD 야동을 550,000번 정도 전송할 수 있는 양입니다.
과거에 회선 비용 문제로 몇 배 저렴한 해외 회선을 테스트해봤는데, 너무 느려서 현재 국내 사용자는 100% 국내 회선으로 가도록 해서 성능 향상을 하고 있습니다.
반면에 해외 사용자는 사이트 속도가 일정하도록 모두 해외 전용 회선에 접속되도록 경로가 국내 사용자와 다르게 가며, 해외에서 이미지나 동영상은 해외 서버에 일시 저장되는 가속화 기법을 적용하고 있습니다. 국내 커뮤니티 중에 해외에서 상당히 빠르고 잘 접속되는 사이트일 것입니다.
또한 과거에 이미 디도스(DDoS) 공격을 맞은 적이 있어, 관련 공격에 취약하지 않도록 구조를 계속 강화하고 있습니다. 과거에 https://www.fmkorea.com/1560100861 디도스 공격 이후에 여러 가지 방어 정책을 구축했습니다.

5.
에펨코리아는 사용자의 데이터 보호를 위해 보안에 상당히 신경 쓰고 있습니다.
사용자가 보내는 모든 요청은 웹방화벽(Web Application Firewall)을 통과하게 되어 있으며, 의심스러운 요청은 자동 차단됩니다.
또한 기본적으로 모든 서버는 네트워크 방화벽(Network Firewall)이 설정되어 있습니다.
에펨코리아의 모든 서버와 소프트웨어는 적극적을 보안 업데이트 패치를 적용하고 있습니다.
예를 들어 https://www.nginx.com/blog/nginx-updates-mitigate-august-2019-http-2-vulnerabilities/ 과 같은 문제에 대해서는 패치 나온 당일에 100% 모든 서버에 적용했습니다.
또한 몇 년에 걸쳐 과거에 공지한 것처럼 "에펨코리아 보안 강화" https://www.fmkorea.com/1043784091 의 여러 가지 정책을 진행했습니다.

6.
에펨코리아의 내부 네트워크 구조는 현재 1 Gbps 기반인데, 주요 일부 신규 서버는 1 Gbps 과 10 Gbps 동시에 호환되는 네트워크 카드와 케이블로 도입을 했으며, 추후 핵심 네트워크 스위치를 10 Gbps로 변경할 예정입니다.
구체적으로는 과거 서버는 흔히 사용되는 1 Gbps 랜 카드와 케이블만 사용하고 있었지만, 신규 도입되는 핵심 서버는 10BASE-T 랜 카드에 cat 7 케이블을 사용하고 있습니다.
관련 부분을 모두 연결해주는 핵심 네트워크 스위치는 아직 1 Gbps 기반이고, 추후 10 Gbps 지원되는 10BASE-T 기반으로 변경 예정입니다.
교체 예정: 핵심 네트워크 스위치를 10BASE-T 지원되는 것으로 바꿀 예정입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

7.
사용자 데이터 안정성 위해 에펨코리아의 데이터베이스는 매일 전체 백업되며, 물리적으로 다른 위치에 일주일에 2번 별도로 백업됩니다.
또한, 데이터베이스 핵심 서버는 고장이 나는 경우 10초 안에 자동으로 다른 데이터베이스 서버로 복구되는 고가용성 구조로 운영되고 있습니다. 다만 핵심 서버 아닌 서버가 고장 나면 제가 그냥 수동 서비스 복구와 교체해야 합니다.
해당 고가용성 운영으로 핵심 데이터베이스 서버도 쉽게 보안 패치, 업그레이드, 부팅이 가능합니다.

8.
서부 부하 문제나 프로그램 문제를 추적하기 위해 1초당, 1분당, 5분당 서버 모니터링 도구가 여러 개 돌아가고 있습니다. 해당 부분으로 동시 접속자가 몰릴 때 오류나 접속 지연이 발생하면 원인을 추적해서 교정하고 있습니다. https://www.fmkorea.com/2104995639 에 공지한 것처럼 최근에 발생한 일시적인 서버 장애도 관련 모니터링을 통해 원인을 파악하고 성공적으로 해결했습니다.
1년 전의 서버 구조로 현재의 동시접속자가 접속했으면 즉시 다운될 것입니다. 그 동안 계속 모니터링하면서 서버 부하 문제점을 찾아서 소프트웨어, 하드웨어, 네트워크 개선을 동시에 모두 진행했습니다.

9.
빠른 관리를 위해 주요 서버는 모두 전원, 리셋, 부팅, BIOS 설정 변경, OS 설치를 원격으로 할 수 있습니다.
관련 원격 조절 구축으로 장애나 장비 업그레이드할 때 조금 더 빠르게 대응할 수 있습니다.

[요약]
- 일하고 있음
- 펨코 서버 인프라를 계속 강화하고 있음
- 미래를 생각해서 파일 서버 및 네트워크 장비 교체 계획 중이며, 그 때 일시적인 서비스 중단이 예상됨
  • [레벨:22]햇반맨 2019.08.27 13:07
    서비스중단?! 포찌 보상으로 주면 봐줌
  • [레벨:39]문어 2019.08.27 13:07
    시고모추
  • [레벨:2]빅버드 2019.08.27 13:08
    ???:나다 개새끼들아
  • [레벨:22]김뢰하 2019.08.27 13:08
    ㅇㅇ 수고했다 물론 읽지는 않았다
  • [레벨:31]첼시9번이동국 2019.08.27 13:09
    선생님 나중에 실명인증해서 하는 장터같은것도 만들어 주세여..
  • [레벨:33]후라봉봉 2019.08.27 13:09
    최다추천수 볼수있듯이 예를들어 추천수1위 메호대전 종결 2위 3위 이렇게
    최다조회수도 이렇게 볼수있게 부탁 좀..
    최다조회 도 이런기능 추가좀..
  • [레벨:2]패션패션패숑 2019.08.27 13:11
    하모랑 시고싶다..
  • [레벨:24]클종롭신해 2019.08.27 13:12
    광고 눌러드림
  • [레벨:21]라이언 2019.08.27 13:13
    시모 존나 멋잇어..
  • [레벨:4]기적의언어 2019.08.27 13:15
    묻지도않고 ㅂㅊ
  • [레벨:23]3번참으면화냄 2019.08.27 13:15
    그래서 정치글 신고 명단 공개 함??
  • [레벨:2]b_palvin 2019.08.27 13:16
    와 님 혼자일함? 진짜 개바쁠거같은데ㅋㅋㅋㅋ
  • 운영진시스템모니터 2019.08.27 13:17
    b_palvin 사이트 운영 및 개발은 저와 펨신님, 부주심님, 펨코개발님(글/댓글 활동은 안 함), 독고님 등이 한 팀으로 활동 및 도와주고 있습니다. ^^
    서버 관리는 제가 단독으로 현재 하고 있긴 합니다. ;;
  • [레벨:25]PikaPica 2019.08.27 13:18
    펨신 살려내라
  • [레벨:36]크개뢴새케끼 2019.08.27 13:20
    축구 어디팬이심
  • [레벨:24]달리는자동차. 2019.08.27 13:20
    시모는 추석때 뭐함?
  • [레벨:30]노틸러스 2019.08.27 13:20
    방출 누른 사람 목록 업데이트 계획은 없나요?
  • 운영진시스템모니터 2019.08.27 13:24
    노틸러스 비추천 공개하면 서로 찾아다니면서 스토킹하며, 분쟁이 엄청나게 증가합니다.
    일부 사용자들은 비추천한 사용자 글 및 댓글 마다 찾아가서 댓글 달고 비추천 합니다.
    또한 특정 글들의 비추천자를 전부 일베, 대깨문, 메갈 등으로 몰아가는 경향이 흔히 있습니다.

    그래서 해당 부분은 계획이 없습니다.
  • [레벨:30]노틸러스 2019.08.27 13:28
    시스템모니터 답변 감사합니다
  • [레벨:2]과전곡이 2019.08.27 13:20
    회사에서 일함 집에서 일함?
  • [레벨:16]멜란지 2019.08.27 13:22
    야동추천좀
  • [레벨:24]N.I.R.O 2019.08.28 01:32
    멜란지 불가능
  • [레벨:23]LCK 2019.08.27 13:24
    시모 이새끼 분명 어디 대기업에서 일했을거같은데
  • [레벨:23]한머리두냄새 2019.08.27 13:24
    장애 대응도 빨리 잘 되는거 같은디 apm 같은것도 쓰시나요 ㅇㅅㅇ
  • 운영진시스템모니터 2019.08.27 13:24
    한머리두냄새 넵, 요청의 일부 % 를 별도로 profiling 돌리고 1분 마다 통계 내고 있습니다.
  • [레벨:23]한머리두냄새 2019.08.27 13:26
    시스템모니터 트래픽이 많아서 샘플링 하지 않으면 모니터링 리소스도 많이 들겠네요 퍄퍄 펨코 기술 블로그좀 운영해주세요 이런 글 재밌게 잘 보고있어요
  • [레벨:17]이엘리야 2019.08.27 13:24
    시모 요즘에 볼만한 드라마 추천좀
  • [레벨:40]잉여력놀이터 2019.08.27 13:26
    멈출상황있을거면 미리공지좀 해주세요 잉토여는데 참고할수 있게...
  • 운영진시스템모니터 2019.08.27 13:28
    잉여력놀이터 위에 언급된 부분은 계획 잡히면 그렇게 하겠습니다.
    드물게 도와주는 업체의 작업 인력 시간 때문에 급하게 그냥 할 때도 있긴 합니다.
    (자체 인력이 거의 없는 펨코라서 ㅠㅠ)
  • [레벨:40]잉여력놀이터 2019.08.27 13:28
    시스템모니터 1시간전에라도 꼭좀 부탁 드립니다 연장을 하던 미리 마감을치던 조치를할수 있게요
  • 운영진시스템모니터 2019.08.27 13:29
  • [레벨:22]광복군 2019.08.27 13:27
    일하고있음 뭔데 ㅋㅋㅋㅋ
  • [레벨:21]SAD10마네 2019.08.27 13:27
    수익은 광고로 들어오는거?
  • [레벨:20]cha5s 2019.08.27 13:28
    뭐래니 얘
  • [레벨:15]롤케익빵 2019.08.27 13:29
    교체하고 남은 부품들은 어떻게 처리되는지 개인적으로 궁금합니다

    예비물품으로 보관? 아니면 전량 폐기?
  • 운영진시스템모니터 2019.08.27 13:33
    롤케익빵 일부는 중고나라에
    일부는 작업 도와준 직원에게 선물
    일부는 폐기
  • [레벨:15]롤케익빵 2019.08.27 13:33
    시스템모니터 나중에 이벤트성으로 중고나라말고 디갤 장터도 찾아와주십쇼
  • [레벨:3]댕.댕.이 2019.08.28 08:31
    시스템모니터 그 일부의 폐기가 다른사람에게 필요한거일수도 있습니다^^
  • [레벨:23]날두고가라 2019.08.27 13:30
    와 와드 와드 이런글을 쓰다니 대박
  • [레벨:17]하모칸 2019.08.27 13:31
    [삭제된 댓글입니다.]
  • 운영진시스템모니터 2019.08.27 13:33
    하모칸 아쉽게도 해당 부분은 여러 가지 이유로 현재 따로 공개하고 있지 않습니다.
  • [레벨:21]알더웨이럴트 2019.08.27 13:59
    하모칸 db갱신되었을 때 ajax기반으로 업데이트 하는 방식을 사용할거 같은데요
    F12눌러서 스크립트 한번 살펴보세요
  • [레벨:23]누해스 2019.08.27 14:00
    알더웨이럴트 아약스..?
  • [레벨:26]만튀 2019.08.27 13:34
    시모 능력자같은데 월 얼마 벌어요
  • [레벨:3]다비드질봐 2019.08.27 13:34
    포찌 나눔좀여ㅜㅜ
  • [레벨:13]여자친구예린이 2019.08.27 13:34
    댓글달려고 하면 가끔 등록버튼이 잘 안눌러지는건 폰 문제임?
  • 운영진시스템모니터 2019.08.27 13:36
    여자친구예린이 넵, 아이폰은 과거 부터 펨코 뿐만 아니라 모든 사이트에 터치 문제가 종종 발생하는 것으로 알고 있습니다.
    계속 좋아지기는 하는 듯 한데, 과거 공지 https://www.fmkorea.com/1369875283 참고
  • [레벨:24]kindguy 2019.08.27 13:37
    항상 관리자님들 응원합니다 화이팅
  • [레벨:2](엄마) 2019.08.27 13:40
    시모는 모쏠인가?
  • [레벨:8]그냥그러려니한다 2019.08.27 13:41
    야짤 따로모으시나요?

  1. 인기 2군 게시판 시스템을 개편했습니다 [51]

    2020.03.29 알림 시스템모니터 조회8943
    2군 게시판 시스템을 개편했습니다
  2. 인기 4월 700명 기프티콘 이벤트 예정, 기프티콘 관련 투표 요청 [376]

    2020.03.28 알림 시스템모니터 조회29620
    4월 700명 기프티콘 이벤트 예정, 기프티콘 관련 투표 요청
  3. 인기 신규 게시판: 닌텐도/동물의숲 [71]

    2020.03.24 알림 시스템모니터 조회20706
    신규 게시판: 닌텐도/동물의숲
  4. 포텐 터진 바로가기 탭을 최신순으로 업데이트 [106] 첨부파일 포텐

    2019.11.25 알림 시스템모니터 조회28091
    포텐 터진 바로가기 탭을 최신순으로 업데이트
  5. 에펨코리아의 시스템적인 개선 사항에 대해 공지 [249] 포텐

    2019.11.20 알림 시스템모니터 조회32016
    에펨코리아의 시스템적인 개선 사항에 대해 공지
  6. 신규 포텐 시스템 오픈 및 테스트 [359]

    2019.11.17 알림 시스템모니터 조회10572
    신규 포텐 시스템 오픈 및 테스트
  7. 신규 화제순 포텐 터진 게시판 테스트 예정 [293] 포텐

    2019.11.13 알림 시스템모니터 조회41695
    신규 화제순 포텐 터진 게시판 테스트 예정
  8. 알림 시스템 실시간 강화 및 디자인 변경 [229] 동영상첨부파일 포텐

    2019.10.22 알림 시스템모니터 조회21402
    알림 시스템 실시간 강화 및 디자인 변경
  9. 펨코도르 100명 - 10월 기프티콘 이벤트 [218] 첨부파일 포텐

    2019.10.18 알림 시스템모니터 조회35968
    펨코도르 100명 - 10월 기프티콘 이벤트
  10. 게시판 인기 통계, 게시판 관리자 기프티콘 이벤트, 업데이트 내역
  11. PC 사이트 우측 상단 실시간 알림 업데이트 [252] 동영상첨부파일 포텐

    2019.09.25 알림 시스템모니터 조회38858
    PC 사이트 우측 상단 실시간 알림 업데이트
  12. 에펨코리아 현재 서버 인프라 및 강화 계획 [324] 동영상첨부파일 포텐

    2019.08.27 알림 시스템모니터 조회57695
    에펨코리아 현재 서버 인프라 및 강화 계획
  13. 여자연예인 게시판이 새롭게 개설, 인물 게시판 수용소로 이름 변경
  14. 10월 기프티콘 이벤트 계획, 8월 기프티콘 이벤트 발송 완료
  15. 핵심 서버 응급 부팅 작업 진행 완료 [149]

    2019.08.05 알림 시스템모니터 조회4039
    핵심 서버 응급 부팅 작업 진행 완료
  16. 크롬 76 업데이트 및 다크 모드 관련 안내 [117] 첨부파일 포텐

    2019.08.04 알림 시스템모니터 조회35258
    크롬 76 업데이트 및 다크 모드 관련 안내
  17. 서버 부하 개선 작업 진행, 최근 사이트 업데이트 [186] 첨부파일 포텐

    2019.07.29 알림 시스템모니터 조회38916
    서버 부하 개선 작업 진행, 최근 사이트 업데이트
  18. 게시판 인기 통계 + 사이트 최근 업데이트 [202] 포텐

    2019.07.07 알림 시스템모니터 조회47804
    게시판 인기 통계 + 사이트 최근 업데이트
이전 다음
- +
1 2 3 4 5