에펨코리아 모바일 -  유머, 축구, 게임, 풋볼매니저 종합 커뮤니티

로그인 가입 메뉴
2019.08.27 12:31

포텐 에펨코리아 현재 서버 인프라 및 강화 계획

조회 수 57695 추천 수 473 댓글 324
안녕하세요, 에펨코리아의 엔지니어 업무를 맡고 있는 시스템 모니터입니다.
최근에 컨텐츠 관여를 어쩔 수 없이 여러 차례 공지를 했는데, 제 좋아하는 관심사는 오로지 IT이긴 합니다(일을 해야 하니 다른 사이트 사항도 어쩔 수 없이 관여하게 될 뿐... 관여하고 싶은 부분은 아님).

에펨코리아의 경우 
웹호스팅 → 일반 PC에 가정 회선 → 저가형 서버 호스팅 → IDC 코로케이션 → [현재] IDC 코로케이션, 클라우드 하이브리드 구조 + 독립 단독 회선을 포함한 다중 전용 네트워크 회선
으로 인프라가 발전했습니다.

대기업들은 관련 부분을 처음부터 자본으로 쉽게 고가 인프라로 구축이 쉽지만, 에펨코리아 같은 곳은 차례로 하나하나 인프라를 강화하면서 상당한 노력이 필요합니다. 자본도 문제이지만, 자본이 해결되더라도 돌아가고 있는 사이트에서 인프라를 업데이트하기 어렵습니다.

아래 글을 통해 현재의 에펨코리아 인프라를 일부 공개하며, 관련 인프라 강화 계획도 공개합니다.
1.
기본적으로 에펨코리아의 서버는 현재 100% 모두 기업용 CPU인 인텔 제온 계열을 사용합니다.
물론 지금 새롭게 구축하면 AMD 신규 Epyc2 라인업도 고려하겠지만, 한국에서 AMD는 아무리 가격이 저렴하더라도 당장 유통 및 A/S 문제가 많습니다.
제온 계열 CPU를 사용하는 장점은 듀얼 CPU 구성도 쉽게 사용 가능하고, ECC 메모리를 사용할 수 있습니다.
에펨코리아 서버는 100% 모두 자동으로 메모리 오류를 교정할 수 있는 ECC 메모리로 현재 운영되고 있습니다.
아래는 에펨코리아 현재 핵심 서버의 실제 CPU 돌아가는 모습이며, 모두 가상 코어가 아닌 물리적 실제 코어입니다(동시 접속자 많은 시기를 위해 충분한 여유폭을 둡니다):


2.
에펨코리아는 현재 파일 저장소 외에는 100% SSD 사용합니다.
처음에 자금 문제로 삼성 EVO를 사용했지만, 지금 새로 도입되는 서버는 100% 기업용 인텔이나 삼성 SSD를 사용합니다.
기업용 SSD의 장점은 단순 성능 외에도 반도체 자체가 더 품질 높아서 고장률이 적고, 또한 전력 보호 기능이 있습니다(power loss protection). SSD에 성능 때문에 일시적으로 메모리에 저장되는 데이터가 있는데, 전원을 확 뽑아버리면 기업용 SSD는 해당 메모리에 있는 데이터를 안전하게 저장할 수 있도록 임시 전력(축전기) 공급 장치가 내부에 있습니다. 해당 부분 때문에 전력 문제가 발생할 경우 기업용 SSD가 데이터 손실 방지에 절대적으로 유리합니다.

3.
파일 정소는 현재 일반 회전하는 형태의 디스크 기반이고, 중간에 SSD로 임시 저장되어 가속화되고 있으며, 해당 SSD 부분은 다시 메모리 캐싱으로 가속화됩니다.
현재 구조는
RAID 6 회전 디스크 ⎯(캐싱)→ 캐싱 전용 SSD ⎯(캐싱)→ 캐싱 전용 메모리 ⎯(캐싱)→ OS 메모리
동시에 디스크 3개가 고장나야 데이터가 손실되는 구조이며, 실제로 에펨코리아에 과거에 여러 차례 하드가 고장난 적이 있으나 서비스 중단 없이 디스크 교체를 시행했습니다.
또한 디스크가 고장 나면 여유 디스크가 하나 비상용으로 연결되어 있어, 자동으로 데이터 복제가 즉시 일어납니다(hot spare).
전원 문제가 생길 때 데이터 소실을 방지하기 위해 해당 캐싱 전용 메모리도 임시 전력(축전기) 공급 장치가 연결되어 있습니다.
교체 예정: 파일 서버를 100% SSD 서버로 교체할 계획입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

4.
에펨코리아는 현재 4개의 회선 업체와 계약해서 서비스를 운영 중입니다.
한달에 약 550,000 GB 전송하고 있으며, DVD 야동을 550,000번 정도 전송할 수 있는 양입니다.
과거에 회선 비용 문제로 몇 배 저렴한 해외 회선을 테스트해봤는데, 너무 느려서 현재 국내 사용자는 100% 국내 회선으로 가도록 해서 성능 향상을 하고 있습니다.
반면에 해외 사용자는 사이트 속도가 일정하도록 모두 해외 전용 회선에 접속되도록 경로가 국내 사용자와 다르게 가며, 해외에서 이미지나 동영상은 해외 서버에 일시 저장되는 가속화 기법을 적용하고 있습니다. 국내 커뮤니티 중에 해외에서 상당히 빠르고 잘 접속되는 사이트일 것입니다.
또한 과거에 이미 디도스(DDoS) 공격을 맞은 적이 있어, 관련 공격에 취약하지 않도록 구조를 계속 강화하고 있습니다. 과거에 https://www.fmkorea.com/1560100861 디도스 공격 이후에 여러 가지 방어 정책을 구축했습니다.

5.
에펨코리아는 사용자의 데이터 보호를 위해 보안에 상당히 신경 쓰고 있습니다.
사용자가 보내는 모든 요청은 웹방화벽(Web Application Firewall)을 통과하게 되어 있으며, 의심스러운 요청은 자동 차단됩니다.
또한 기본적으로 모든 서버는 네트워크 방화벽(Network Firewall)이 설정되어 있습니다.
에펨코리아의 모든 서버와 소프트웨어는 적극적을 보안 업데이트 패치를 적용하고 있습니다.
예를 들어 https://www.nginx.com/blog/nginx-updates-mitigate-august-2019-http-2-vulnerabilities/ 과 같은 문제에 대해서는 패치 나온 당일에 100% 모든 서버에 적용했습니다.
또한 몇 년에 걸쳐 과거에 공지한 것처럼 "에펨코리아 보안 강화" https://www.fmkorea.com/1043784091 의 여러 가지 정책을 진행했습니다.

6.
에펨코리아의 내부 네트워크 구조는 현재 1 Gbps 기반인데, 주요 일부 신규 서버는 1 Gbps 과 10 Gbps 동시에 호환되는 네트워크 카드와 케이블로 도입을 했으며, 추후 핵심 네트워크 스위치를 10 Gbps로 변경할 예정입니다.
구체적으로는 과거 서버는 흔히 사용되는 1 Gbps 랜 카드와 케이블만 사용하고 있었지만, 신규 도입되는 핵심 서버는 10BASE-T 랜 카드에 cat 7 케이블을 사용하고 있습니다.
관련 부분을 모두 연결해주는 핵심 네트워크 스위치는 아직 1 Gbps 기반이고, 추후 10 Gbps 지원되는 10BASE-T 기반으로 변경 예정입니다.
교체 예정: 핵심 네트워크 스위치를 10BASE-T 지원되는 것으로 바꿀 예정입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

7.
사용자 데이터 안정성 위해 에펨코리아의 데이터베이스는 매일 전체 백업되며, 물리적으로 다른 위치에 일주일에 2번 별도로 백업됩니다.
또한, 데이터베이스 핵심 서버는 고장이 나는 경우 10초 안에 자동으로 다른 데이터베이스 서버로 복구되는 고가용성 구조로 운영되고 있습니다. 다만 핵심 서버 아닌 서버가 고장 나면 제가 그냥 수동 서비스 복구와 교체해야 합니다.
해당 고가용성 운영으로 핵심 데이터베이스 서버도 쉽게 보안 패치, 업그레이드, 부팅이 가능합니다.

8.
서부 부하 문제나 프로그램 문제를 추적하기 위해 1초당, 1분당, 5분당 서버 모니터링 도구가 여러 개 돌아가고 있습니다. 해당 부분으로 동시 접속자가 몰릴 때 오류나 접속 지연이 발생하면 원인을 추적해서 교정하고 있습니다. https://www.fmkorea.com/2104995639 에 공지한 것처럼 최근에 발생한 일시적인 서버 장애도 관련 모니터링을 통해 원인을 파악하고 성공적으로 해결했습니다.
1년 전의 서버 구조로 현재의 동시접속자가 접속했으면 즉시 다운될 것입니다. 그 동안 계속 모니터링하면서 서버 부하 문제점을 찾아서 소프트웨어, 하드웨어, 네트워크 개선을 동시에 모두 진행했습니다.

9.
빠른 관리를 위해 주요 서버는 모두 전원, 리셋, 부팅, BIOS 설정 변경, OS 설치를 원격으로 할 수 있습니다.
관련 원격 조절 구축으로 장애나 장비 업그레이드할 때 조금 더 빠르게 대응할 수 있습니다.

[요약]
- 일하고 있음
- 펨코 서버 인프라를 계속 강화하고 있음
- 미래를 생각해서 파일 서버 및 네트워크 장비 교체 계획 중이며, 그 때 일시적인 서비스 중단이 예상됨
  • [레벨:35]김종노 2019.08.27 12:57
    고생추
  • [레벨:3]숭가루 2019.08.27 12:58
    작성 글 본인이 여러개 삭제 할 수 있도록 편의성 패치 해줄 생각은 없나용
  • [레벨:30]MIR 2019.08.27 12:58
    인쁘라를 강화하려면 펨코도 돔구장이 절실하다
  • [레벨:3]댕.댕.이 2019.08.27 12:58
    솔직히 포 비자금있으시죠?
  • [레벨:2]정국 2019.08.27 12:58
    시모는 민초파,부먹파,파인애플피자파다
  • [레벨:24]양돼 2019.08.27 12:58
    누가 1GB 짜리 야동 봄 ㅋㅋㅋㅋ
  • [레벨:24]알레띠트레블 2019.08.27 12:58
    비추는 왜이리 많어
  • [레벨:26]거짓말은하지않아 2019.08.28 16:58
    알레띠트레블 시모 잉여력 쌓는게 꼴보기 싫음
  • [레벨:4]리안조엘브루스터 2019.08.27 12:58
    야동 55만개 보낼 수 있으면 인물갤 수위를 높여줘라
  • [레벨:25]어둠의기사 2019.08.27 13:04
    리안조엘브루스터 그냥 19금 인증걸고 야동 게시판을 따로 만드는게 나을듯??
  • [레벨:25]벤샤피로 2019.08.27 17:26
    어둠의기사 방통위 철퇴로 불가능
  • [레벨:12]H키를눌러여친변 2019.08.27 12:58
    시모는 여자야 남자야?
  • [레벨:21]잠실나루역 2019.08.27 12:58
  • [레벨:21]잠실나루역 2019.08.27 12:58
    에펨코리아는 현재 4개의 회선 업체와 계약해서 서비스를 운영 중입니다.
    한달에 약 550,000 GB 전송하고 있으며, DVD 야동을 550,000번 정도 전송할 수 있는 양입니다.

    야동보내줘
  • [레벨:25]recuu파찬 2019.08.27 13:20
    잠실나루역 보내드려요?
  • [레벨:3]ㅁㅁㅁㅁㅁㅁㅁㅁㅁ 2019.08.27 12:59
    시모 여친 잇음?
  • [레벨:25]형빨리불꺼 2019.08.27 12:59
    뭔말인지는 하나도 모르겠다
  • [레벨:5]Marche 2019.08.27 12:59
    사랑해요 운영자님
  • [레벨:1]이강인의축구과외 2019.08.27 12:59
    ㅂㅊ
  • [레벨:4]?? 2019.08.27 12:59
    현재 펨코에 뿌려진 잉여력은 몇인지 알수있나여
  • [레벨:32]커여운송하영 2019.08.27 12:59
    시모님 근데 동접자가 많은건 실제 사람들이 접속한건가요 뻥접속도 있는건가여
  • 운영진시스템모니터 2019.08.27 13:18
    커여운송하영 우측 하단에 있는 것은 활성화된 사용자 기준입니다.
    단순 브라우저 열려 있는 수 측정하면 해당 수치 보다 높습니다.
  • [레벨:22]훈훈한훈 2019.08.27 12:59
    더욱 일해라!!
  • [레벨:2]파란감자 2019.08.27 12:59
    섹스
  • [레벨:25]ONE4ALL 2019.08.27 13:00
    펨코도 이렇게 서버 확충을 팍팍 해주는데 피온은 그 많은 돈을 갖고 왜 1번을 안해주냐
  • [레벨:22]은하수대폭팔 2019.08.27 13:00
    컴공 나왔지만 먼말인지 하나도 모르겠음 시발..뻑킹컴공
  • [레벨:22]잘생겼잘생겼 2019.08.27 13:00
    펨신은 살아있습니까
  • [레벨:24]Reinier 2019.08.27 13:00
    시모 왜 디갤 안함..
  • [레벨:26]인스텝 2019.08.27 13:01
    그건 모르겠고 아이콘 혼자쓰지마셈 ㅡㅡ
  • [레벨:37]포기를모르는남자 2019.08.27 13:01
    시모님 하트달아주세요
  • [레벨:24]N.I.R.O 2019.08.28 01:31
  • [레벨:8]바른미래당 2019.08.27 13:01
    존나 무슨 소리인지 모르겠으니 집어치고
    첫사랑 이야기나 해보쇼
  • [레벨:8]dlqud 2019.08.27 13:01
    시모 힙갤 개설 기념으루다가 와서 프리스타일 함만 해봐라
    비트는 내가 갈겨줌
  • [레벨:22]loiterte 2019.08.27 13:02
    요즘엔 왜 개드립 안쳐요? 저번에 보니까 '시스템모니터'링중(ㅋㅋㅋ) 이러더만
  • [레벨:2]냥냥냥냥 2019.08.27 13:02
    시모 아이콘 뭐냐 나도줘라
  • [레벨:3]정인욱 2019.08.27 13:02
    시모형 뽀찌좀
  • [레벨:25]롯리민초부먹펩시 2019.08.27 13:03
    증권가 찌라시)시모는 중국계 여성, 독고와 연애중
  • [레벨:37]정조국 2019.08.27 13:03
    내가 쓴 글/댓글 추천 많이 받은 순서대로 보는 기능 만들어주세요
  • [레벨:35]파코알카세르 2019.08.27 13:03
    보추 몇센티에요?
  • [레벨:22]댕댕이는야옹 2019.08.27 13:04
    서버 스펙으로 에펨 풀세팅 플레이 불가능하죠?
  • 운영진시스템모니터 2019.08.27 13:14
    댕댕이는야옹 그래픽 카드가 없어서 레알 안될 듯
  • [레벨:3]신라텐세 2019.08.27 13:05
    시모야 품번추천 좀
  • [레벨:3]올브 2019.08.27 13:05
    질문이 있는데 베스트댓글의 대댓글들을 보려고 댓글로 가기 클릭해서 보러갔다가
    다른 베스트댓글도 보려고 다시 위로 스크롤하면 베스트댓글이 사라지는데
    고정시킬 수 없나요? 아니면 다른 방법이 있나요?
  • 운영진시스템모니터 2019.08.27 13:15
    올브 해당 부분은 댓글 페이지가 여러 개 있으면, 여러가지 이유로 일부러 그렇게 되어 있습니다.
    아쉽게도 해결이 어려울 듯 합니다.
  • [레벨:24]한번만더해봐요 2019.08.27 13:05
    여자친구 있어?
  • [레벨:2]규리 2019.08.27 13:05
    나도 풀망 시켜줘라 시모야;;
  • [레벨:30]아베리카 2019.08.27 13:06
    모바일 크롬으로 펨코하다가 가끔 멈춰서 강종하는데 제 문제임? 요즘 그러네
  • 운영진시스템모니터 2019.08.27 13:23
    아베리카 1.
    휴대폰 끄고 다시 켜보시길 바랍니다.

    2.
    브라우저 캐시 삭제해보시길 바랍니다.
    https://support.google.com/accounts/answer/32050?co=GENIE.Platform%3DAndroid&hl=ko&oco=1
  • [레벨:6]근손실은죄악 2019.08.27 13:07
    저 아조씨는 관리자가 직업인가요?
  • [레벨:31]Ryzen 2019.08.27 13:07
    돔서버인가요??

  1. 인기 2군 게시판 시스템을 개편했습니다 [51]

    2020.03.29 알림 시스템모니터 조회8943
    2군 게시판 시스템을 개편했습니다
  2. 인기 4월 700명 기프티콘 이벤트 예정, 기프티콘 관련 투표 요청 [376]

    2020.03.28 알림 시스템모니터 조회29620
    4월 700명 기프티콘 이벤트 예정, 기프티콘 관련 투표 요청
  3. 인기 신규 게시판: 닌텐도/동물의숲 [71]

    2020.03.24 알림 시스템모니터 조회20706
    신규 게시판: 닌텐도/동물의숲
  4. 포텐 터진 바로가기 탭을 최신순으로 업데이트 [106] 첨부파일 포텐

    2019.11.25 알림 시스템모니터 조회28091
    포텐 터진 바로가기 탭을 최신순으로 업데이트
  5. 에펨코리아의 시스템적인 개선 사항에 대해 공지 [249] 포텐

    2019.11.20 알림 시스템모니터 조회32016
    에펨코리아의 시스템적인 개선 사항에 대해 공지
  6. 신규 포텐 시스템 오픈 및 테스트 [359]

    2019.11.17 알림 시스템모니터 조회10572
    신규 포텐 시스템 오픈 및 테스트
  7. 신규 화제순 포텐 터진 게시판 테스트 예정 [293] 포텐

    2019.11.13 알림 시스템모니터 조회41695
    신규 화제순 포텐 터진 게시판 테스트 예정
  8. 알림 시스템 실시간 강화 및 디자인 변경 [229] 동영상첨부파일 포텐

    2019.10.22 알림 시스템모니터 조회21402
    알림 시스템 실시간 강화 및 디자인 변경
  9. 펨코도르 100명 - 10월 기프티콘 이벤트 [218] 첨부파일 포텐

    2019.10.18 알림 시스템모니터 조회35968
    펨코도르 100명 - 10월 기프티콘 이벤트
  10. 게시판 인기 통계, 게시판 관리자 기프티콘 이벤트, 업데이트 내역
  11. PC 사이트 우측 상단 실시간 알림 업데이트 [252] 동영상첨부파일 포텐

    2019.09.25 알림 시스템모니터 조회38858
    PC 사이트 우측 상단 실시간 알림 업데이트
  12. 에펨코리아 현재 서버 인프라 및 강화 계획 [324] 동영상첨부파일 포텐

    2019.08.27 알림 시스템모니터 조회57695
    에펨코리아 현재 서버 인프라 및 강화 계획
  13. 여자연예인 게시판이 새롭게 개설, 인물 게시판 수용소로 이름 변경
  14. 10월 기프티콘 이벤트 계획, 8월 기프티콘 이벤트 발송 완료
  15. 핵심 서버 응급 부팅 작업 진행 완료 [149]

    2019.08.05 알림 시스템모니터 조회4039
    핵심 서버 응급 부팅 작업 진행 완료
  16. 크롬 76 업데이트 및 다크 모드 관련 안내 [117] 첨부파일 포텐

    2019.08.04 알림 시스템모니터 조회35258
    크롬 76 업데이트 및 다크 모드 관련 안내
  17. 서버 부하 개선 작업 진행, 최근 사이트 업데이트 [186] 첨부파일 포텐

    2019.07.29 알림 시스템모니터 조회38916
    서버 부하 개선 작업 진행, 최근 사이트 업데이트
  18. 게시판 인기 통계 + 사이트 최근 업데이트 [202] 포텐

    2019.07.07 알림 시스템모니터 조회47804
    게시판 인기 통계 + 사이트 최근 업데이트
이전 다음
- +
1 2 3 4 5