에펨코리아 모바일 -  유머, 축구, 게임, 풋볼매니저 통합 커뮤니티

로그인 가입 메뉴
2019.08.27 12:31

포텐 에펨코리아 현재 서버 인프라 및 강화 계획

조회 수 53655 추천 수 473 댓글 324
안녕하세요, 에펨코리아의 엔지니어 업무를 맡고 있는 시스템 모니터입니다.
최근에 컨텐츠 관여를 어쩔 수 없이 여러 차례 공지를 했는데, 제 좋아하는 관심사는 오로지 IT이긴 합니다(일을 해야 하니 다른 사이트 사항도 어쩔 수 없이 관여하게 될 뿐... 관여하고 싶은 부분은 아님).

에펨코리아의 경우 
웹호스팅 → 일반 PC에 가정 회선 → 저가형 서버 호스팅 → IDC 코로케이션 → [현재] IDC 코로케이션, 클라우드 하이브리드 구조 + 독립 단독 회선을 포함한 다중 전용 네트워크 회선
으로 인프라가 발전했습니다.

대기업들은 관련 부분을 처음부터 자본으로 쉽게 고가 인프라로 구축이 쉽지만, 에펨코리아 같은 곳은 차례로 하나하나 인프라를 강화하면서 상당한 노력이 필요합니다. 자본도 문제이지만, 자본이 해결되더라도 돌아가고 있는 사이트에서 인프라를 업데이트하기 어렵습니다.

아래 글을 통해 현재의 에펨코리아 인프라를 일부 공개하며, 관련 인프라 강화 계획도 공개합니다.
1.
기본적으로 에펨코리아의 서버는 현재 100% 모두 기업용 CPU인 인텔 제온 계열을 사용합니다.
물론 지금 새롭게 구축하면 AMD 신규 Epyc2 라인업도 고려하겠지만, 한국에서 AMD는 아무리 가격이 저렴하더라도 당장 유통 및 A/S 문제가 많습니다.
제온 계열 CPU를 사용하는 장점은 듀얼 CPU 구성도 쉽게 사용 가능하고, ECC 메모리를 사용할 수 있습니다.
에펨코리아 서버는 100% 모두 자동으로 메모리 오류를 교정할 수 있는 ECC 메모리로 현재 운영되고 있습니다.
아래는 에펨코리아 현재 핵심 서버의 실제 CPU 돌아가는 모습이며, 모두 가상 코어가 아닌 물리적 실제 코어입니다(동시 접속자 많은 시기를 위해 충분한 여유폭을 둡니다):


2.
에펨코리아는 현재 파일 저장소 외에는 100% SSD 사용합니다.
처음에 자금 문제로 삼성 EVO를 사용했지만, 지금 새로 도입되는 서버는 100% 기업용 인텔이나 삼성 SSD를 사용합니다.
기업용 SSD의 장점은 단순 성능 외에도 반도체 자체가 더 품질 높아서 고장률이 적고, 또한 전력 보호 기능이 있습니다(power loss protection). SSD에 성능 때문에 일시적으로 메모리에 저장되는 데이터가 있는데, 전원을 확 뽑아버리면 기업용 SSD는 해당 메모리에 있는 데이터를 안전하게 저장할 수 있도록 임시 전력(축전기) 공급 장치가 내부에 있습니다. 해당 부분 때문에 전력 문제가 발생할 경우 기업용 SSD가 데이터 손실 방지에 절대적으로 유리합니다.

3.
파일 정소는 현재 일반 회전하는 형태의 디스크 기반이고, 중간에 SSD로 임시 저장되어 가속화되고 있으며, 해당 SSD 부분은 다시 메모리 캐싱으로 가속화됩니다.
현재 구조는
RAID 6 회전 디스크 ⎯(캐싱)→ 캐싱 전용 SSD ⎯(캐싱)→ 캐싱 전용 메모리 ⎯(캐싱)→ OS 메모리
동시에 디스크 3개가 고장나야 데이터가 손실되는 구조이며, 실제로 에펨코리아에 과거에 여러 차례 하드가 고장난 적이 있으나 서비스 중단 없이 디스크 교체를 시행했습니다.
또한 디스크가 고장 나면 여유 디스크가 하나 비상용으로 연결되어 있어, 자동으로 데이터 복제가 즉시 일어납니다(hot spare).
전원 문제가 생길 때 데이터 소실을 방지하기 위해 해당 캐싱 전용 메모리도 임시 전력(축전기) 공급 장치가 연결되어 있습니다.
교체 예정: 파일 서버를 100% SSD 서버로 교체할 계획입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

4.
에펨코리아는 현재 4개의 회선 업체와 계약해서 서비스를 운영 중입니다.
한달에 약 550,000 GB 전송하고 있으며, DVD 야동을 550,000번 정도 전송할 수 있는 양입니다.
과거에 회선 비용 문제로 몇 배 저렴한 해외 회선을 테스트해봤는데, 너무 느려서 현재 국내 사용자는 100% 국내 회선으로 가도록 해서 성능 향상을 하고 있습니다.
반면에 해외 사용자는 사이트 속도가 일정하도록 모두 해외 전용 회선에 접속되도록 경로가 국내 사용자와 다르게 가며, 해외에서 이미지나 동영상은 해외 서버에 일시 저장되는 가속화 기법을 적용하고 있습니다. 국내 커뮤니티 중에 해외에서 상당히 빠르고 잘 접속되는 사이트일 것입니다.
또한 과거에 이미 디도스(DDoS) 공격을 맞은 적이 있어, 관련 공격에 취약하지 않도록 구조를 계속 강화하고 있습니다. 과거에 https://www.fmkorea.com/1560100861 디도스 공격 이후에 여러 가지 방어 정책을 구축했습니다.

5.
에펨코리아는 사용자의 데이터 보호를 위해 보안에 상당히 신경 쓰고 있습니다.
사용자가 보내는 모든 요청은 웹방화벽(Web Application Firewall)을 통과하게 되어 있으며, 의심스러운 요청은 자동 차단됩니다.
또한 기본적으로 모든 서버는 네트워크 방화벽(Network Firewall)이 설정되어 있습니다.
에펨코리아의 모든 서버와 소프트웨어는 적극적을 보안 업데이트 패치를 적용하고 있습니다.
예를 들어 https://www.nginx.com/blog/nginx-updates-mitigate-august-2019-http-2-vulnerabilities/ 과 같은 문제에 대해서는 패치 나온 당일에 100% 모든 서버에 적용했습니다.
또한 몇 년에 걸쳐 과거에 공지한 것처럼 "에펨코리아 보안 강화" https://www.fmkorea.com/1043784091 의 여러 가지 정책을 진행했습니다.

6.
에펨코리아의 내부 네트워크 구조는 현재 1 Gbps 기반인데, 주요 일부 신규 서버는 1 Gbps 과 10 Gbps 동시에 호환되는 네트워크 카드와 케이블로 도입을 했으며, 추후 핵심 네트워크 스위치를 10 Gbps로 변경할 예정입니다.
구체적으로는 과거 서버는 흔히 사용되는 1 Gbps 랜 카드와 케이블만 사용하고 있었지만, 신규 도입되는 핵심 서버는 10BASE-T 랜 카드에 cat 7 케이블을 사용하고 있습니다.
관련 부분을 모두 연결해주는 핵심 네트워크 스위치는 아직 1 Gbps 기반이고, 추후 10 Gbps 지원되는 10BASE-T 기반으로 변경 예정입니다.
교체 예정: 핵심 네트워크 스위치를 10BASE-T 지원되는 것으로 바꿀 예정입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

7.
사용자 데이터 안정성 위해 에펨코리아의 데이터베이스는 매일 전체 백업되며, 물리적으로 다른 위치에 일주일에 2번 별도로 백업됩니다.
또한, 데이터베이스 핵심 서버는 고장이 나는 경우 10초 안에 자동으로 다른 데이터베이스 서버로 복구되는 고가용성 구조로 운영되고 있습니다. 다만 핵심 서버 아닌 서버가 고장 나면 제가 그냥 수동 서비스 복구와 교체해야 합니다.
해당 고가용성 운영으로 핵심 데이터베이스 서버도 쉽게 보안 패치, 업그레이드, 부팅이 가능합니다.

8.
서부 부하 문제나 프로그램 문제를 추적하기 위해 1초당, 1분당, 5분당 서버 모니터링 도구가 여러 개 돌아가고 있습니다. 해당 부분으로 동시 접속자가 몰릴 때 오류나 접속 지연이 발생하면 원인을 추적해서 교정하고 있습니다. https://www.fmkorea.com/2104995639 에 공지한 것처럼 최근에 발생한 일시적인 서버 장애도 관련 모니터링을 통해 원인을 파악하고 성공적으로 해결했습니다.
1년 전의 서버 구조로 현재의 동시접속자가 접속했으면 즉시 다운될 것입니다. 그 동안 계속 모니터링하면서 서버 부하 문제점을 찾아서 소프트웨어, 하드웨어, 네트워크 개선을 동시에 모두 진행했습니다.

9.
빠른 관리를 위해 주요 서버는 모두 전원, 리셋, 부팅, BIOS 설정 변경, OS 설치를 원격으로 할 수 있습니다.
관련 원격 조절 구축으로 장애나 장비 업그레이드할 때 조금 더 빠르게 대응할 수 있습니다.

[요약]
- 일하고 있음
- 펨코 서버 인프라를 계속 강화하고 있음
- 미래를 생각해서 파일 서버 및 네트워크 장비 교체 계획 중이며, 그 때 일시적인 서비스 중단이 예상됨
  • BEST 운영진시스템모니터 2019.08.27 12:53
    Twice 아이디어 감사
    진행하면 님 아이디어 라고 공지하겠음
  • BEST [레벨:40]Twice 2019.08.27 12:53
    펨코 멈춘척 하고 잉여력 초기화 하려고 ㅡㅡ
  • BEST 운영진시스템모니터 2019.08.27 12:51
    양파는산할머니 전 개인적으로 http://prod.danawa.com/list/?cate=11316681&logger_kw=LW_standardpc 를 살펴본 뒤에,
    거기서 저에게 가장 맞는 것 찾고, 사양을 살짝 저에 맞게 수정하고 용산 업체에 견적 요청해서 구매합니다.
    (학생 때에는 엄청 검색, 고민, 시간 소모하면서 구매했는데, 지금은 그냥 위와 같이 쉽게 쉽게 구매함)
  • [레벨:2]CanFD 2019.08.27 21:24
    서버운영 및 관리 몇명이서 하는거야? 시모는 개발용 PC 뭐써?
  • 운영진시스템모니터 2019.08.28 02:00
    CanFD 사이트 운영 및 개발은 저와 펨신님, 부주심님, 펨코개발님(글/댓글 활동은 안 함), 독고님 등이 한 팀으로 활동 및 도와주고 있습니다. ^^
    실명 언급은 자제 부탁드립니다(과거에 좀 크게 문제되어서).
    감사합니다.

    서버 운영 자체는 제가 담당하고 있습니다.
    제 PC는 그냥 일반 좋은 사양의 PC와 크게 다르지 않습니다.
  • [레벨:24]재로백 2019.08.27 21:45
    i want 10포
  • [레벨:23]제미키두 2019.08.27 23:34
    시모정도면 대기업it종사자 개씹어먹음?
  • [레벨:21]스폰지밥_뚱이 2019.08.27 23:51
    시모야 이 서버 활용해서 야동 스트리밍하자
  • [레벨:2]김윤기 2019.08.27 23:53
    너무 부럽네요 시모님... 인프라쪽이나 클라우드 쪽 JD나 우대사항 보면 대형 IDC 운영경험을 많이 보던데 펨코 정도 사이트 운영하는 정도면 엄청난 경력일듯 ㅠㅠ
  • [레벨:24]오스날맹육 2019.08.28 02:35
    모바일 펨코 위아래 댓글버튼 번인현상 생겼는데 책임지세요
  • [레벨:33]새마을호 2019.08.28 03:04
    펨코 주식좀 사고 싶습니다
  • [레벨:21]떽띠나꼬 2019.08.28 05:14
    음.....난좀 반댄데
  • [레벨:25]백곰까지닉변안함 2019.08.28 11:52
    비추박힐이유가없지않나
  • [레벨:26]생츄어리 2019.08.29 19:36
    백곰까지닉변안함 원래 시모랑 독고글은 그냥 비추 주는게 밈임 ㅋㅋㅋ
  • [레벨:26]축구황제메시 2019.08.28 20:26
    시모님 아이콘 백골단을 의미하는건가요?? ㄷㄷㄷ
  • [레벨:1]후미지다 2019.08.28 21:05
    시해라 일모야
  • [레벨:2]프로헌혈러 2019.08.29 00:29
    시모는 비추야
  • [레벨:25]10번수비수 2019.08.29 04:59
    아직도 SFP+ 사용중이 아니였어? ㄷㄷ
    업그레이드 하면서 레이드 60로 가즈아!!
  • [레벨:22]조원 2019.08.29 12:05
    불철주야 고생이 많으십니다시모
  • [레벨:34]Slack 2019.08.30 17:55
    하둡에코시스템같은데 3군데에 저장하는시스템은
  • [레벨:31]아마데우스볼프강 2019.08.30 19:08
    뭔소린지 모르겠다ㅠ
    저거 하려면 서비스중단 얼마나 걸려요?
  • 운영진시스템모니터 2019.08.30 20:45
    아마데우스볼프강 아직 확정된 일정 없습니다.
  • [레벨:2]반쪽달 2019.08.30 19:16
    잉포좀
  • [레벨:24]루루라라 2019.08.31 02:44
    AWS에 마이그레이션 하는것도 검토해 보시는게 좋을것 같습니다.
    WAF를 온프라미스로 구매하셨고 그게 유명 해외 벤더(임퍼바, F5 등)이나 국내 벤더(모니터랩, 펜타) 등이라면 영업을 통해 라이센스만 마이그레이션 가능한지 문의 해보시면 좋을것 같습니다. AWS에서 자체적으로 제공하는 WAF는 쓰기가 매우 불편하니 고려하신다면 벤더것을 사용하시는걸 추천 드립니다.
    네트워크 방화벽이 단순 ACL을 하는 FW를 의미한다면 따로 구매하시지 않고 자체적으로 AWS 클라우드에서 제공하는 SG나 NACL로 컨트롤 가능하고, IPS를 의미하시는 거라면 예전엔 에이전트 기반의 HIPS가 대세였지만 요즘에는 NIPS도 다수 레퍼가 있습니다. EDR까지 생각하신다면 HIPS도 생각해 보실 수 있고요.
    또, AWS에서는 월 300달러로 DDoS에 대해서 고급화된 서비스 및 DDoS 관련해서만 보안관제를 제공하는데, 굳이 아니더라도 무료로 기본적인 DDoS는 처리해주고, 클라우드 프론트등으로 국내외 캐싱도 가능하고, 오토스케일링으로 부하분산도 편합니다. DB나 웹서비스도 멀티 에이지로 확장해 가용성 확보도 쉽고요.
    DB 등 모두 넘기기 어려우실 수 있으니까, DB등은 데이터센터에 두시고 일부 웹서비스만 AWS 등으로 옮기시는 하이브리드 컨셉도 고려해 보시는게 좋을것 같습니다. 단순 상면비만 보더라도 데이터센터보다 가격대 더 좋을 수가 있습니다.
    온프라미스 데이터센터 외에 클라우드를 고려해 보시면 오히려 많은 부분에 대해서 인건비가 절약될 수 있고, 네트워크 장비 설정이나 보안장비 설정, 가용성 이슈등에 투자할 시간동안 개발이나 테스트에 좀 더 시간을 할애할 수 있습니다.
    그럴거라고 생각되진 않는데 정말 트래픽이 많다고 한다면 트랜짓 게이트웨이 등을 통해 중앙관리형 인프라를 구성하셔도 됩니다.
    아 추가로, 시스코 장비들이 제공하는 무중단 패치같은 무중단 실시간 웹서비스 수정/배포도 가능합니다. 여러모로 편리해요. 검토해보시면 좋을것 같습니다.
  • 운영진시스템모니터 2019.08.31 10:23
    루루라라 아쉽게도 관련 방식들 현재 운영에 비해 매우 비용이 많이 상승합니다.
    현실적인 비용 문제로 펨코의 경우 적용이 대체로 어려운 방식들입니다.
  • [레벨:22]패리스핥은 2019.08.31 21:08
    회사 다니다가 서비스 장애나면 휴가씀?
  • [레벨:4]포냥포 2019.09.01 17:40
    얼마범?

  1. > 인기 에펨코리아 현재 서버 인프라 및 강화 계획 [324]

    2019.08.27 알림 시스템모니터 조회53655
    에펨코리아 현재 서버 인프라 및 강화 계획
  2. 인기 서버 안정화 작업 진행 완료 [159]

    2019.08.19 알림 시스템모니터 조회30530
    서버 안정화 작업 진행 완료
  3. 인기 최근 주기적으로 발생한 일시 서버 장애에 대해 대응중 [171]

    2019.08.19 알림 시스템모니터 조회22508
    최근 주기적으로 발생한 일시 서버 장애에 대해 대응중
  4. 에펨코리아 현재 서버 인프라 및 강화 계획 [324] 동영상첨부파일 포텐

    2019.08.27 알림 시스템모니터 조회53655
    에펨코리아 현재 서버 인프라 및 강화 계획
  5. 서버 안정화 작업 진행 완료 [159] 포텐

    2019.08.19 알림 시스템모니터 조회30530
    서버 안정화 작업 진행 완료
  6. 최근 주기적으로 발생한 일시 서버 장애에 대해 대응중 [171] 포텐

    2019.08.19 알림 시스템모니터 조회22508
    최근 주기적으로 발생한 일시 서버 장애에 대해 대응중
  7. [통계] 에펨코리아 게시판별 동시 접속자 수 [134] 포텐

    2019.08.11 알림 시스템모니터 조회23492
    [통계] 에펨코리아 게시판별 동시 접속자 수
  8. 서버 응급 커널 교체 작업 및 부팅 작업 완료 [114]

    2019.08.10 알림 시스템모니터 조회3383
    서버 응급 커널 교체 작업 및 부팅 작업 완료
  9. 여자연예인 게시판이 새롭게 개설, 인물 게시판 수용소로 이름 변경
  10. 10월 기프티콘 이벤트 계획, 8월 기프티콘 이벤트 발송 완료
  11. 핵심 서버 응급 부팅 작업 진행 완료 [152]

    2019.08.05 알림 시스템모니터 조회3430
    핵심 서버 응급 부팅 작업 진행 완료
  12. 크롬 76 업데이트 및 다크 모드 관련 안내 [117] 첨부파일 포텐

    2019.08.04 알림 시스템모니터 조회33554
    크롬 76 업데이트 및 다크 모드 관련 안내
  13. 서버 부하 개선 작업 진행, 최근 사이트 업데이트 [186] 첨부파일 포텐

    2019.07.29 알림 시스템모니터 조회38409
    서버 부하 개선 작업 진행, 최근 사이트 업데이트
  14. 게시판 인기 통계 + 사이트 최근 업데이트 [203] 포텐

    2019.07.07 알림 시스템모니터 조회46467
    게시판 인기 통계 + 사이트 최근 업데이트
  15. 잉여력 아이콘 리마스터 테스트 적용 중입니다. [310] 첨부파일 포텐

    2019.07.07 알림 시스템모니터 조회28301
    잉여력 아이콘 리마스터 테스트 적용 중입니다.
  16. 7월 기프티콘 이벤트 상위 700명에게 발송하였습니다.
  17. TFT(롤토체스) 게시판 신설 [59] 첨부파일 포텐

    2019.06.30 알림 시스템모니터 조회62983
    TFT(롤토체스) 게시판 신설
  18. PoE 및 랑그릿사 게시판 독립 [63] 첨부파일 포텐

    2019.06.24 알림 시스템모니터 조회38474
    PoE 및 랑그릿사 게시판 독립
다음
- +
1 2 3 4 5