개략적 규모 추정 | Notion

시스템 용량이나 성능 요구사항을 계산해보는 방법을 알아보자

데이터 단위

데이터는 2의 제곱수 단위로 다뤄진다.

2의 제곱	근사치	이름	축약형
10	1천	킬로바이트	1KB
20	1백만	메가바이트	1MB
30	10억	기가바이트	1GB
40	1조	테라바이트	1TB
50	1000조	페타바이트	1PB

중요한 응답 지연시간 값

아래 응답 지연시간을 알고 있을 필요가 있다.

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류	5ns
L2 캐시 참조	7ns
뮤텍스 락/언락	100ns
주 메모리 참조	100ns
zippy로 1KB 압축	10000ns = 10마이크로초
1Gbps로 2KB 전송	20000ns = 20마이크로초
메모리에서 1MB를 순차적으로 읽는 시간	250000ns = 250마이크로초
같은 데이터 센터 내 메세지 왕복 시간	500마이크로초
디스크 탐색	10000000ns = 10밀리초
네트워크에서 1MB를 순차적으로 읽는 시간	10밀리초
디스크에서 1MB를 순차적으로 읽는 시간	30밀리초
패킷 한개가 네델란드에서 캘리포니아까지 왕복하는 시간	150밀리초

위 표를 통해 다음을 확인할 수 있다
1. 데이터를 읽는 시간은 캐시 메모리 네트워크 디스크 순으로 빠르다.
  
  ⇒ 디스크 참조는 최대한 피해야 한다.
2. 단순한 압축 알고리즘은 빠르기에 데이터를 인터넷으로 보내기 전에 압축하는 것이 좋다.
3. 데이터센터 사이에 데이터를 주고받는데 시간이 상당히 걸린다

가용성 관련 수치

고가용성 : 시스템이 중단 없이 작동될 수 있는 능력 수치
- 고가용성은 퍼센트로 표시하고, 대부분 서비스가 99~100% 사이의 고가용성을 제공한다.
- 고가용성은 관습적으로 숫자 9로 표시하고, 9가 많을수록 고가용성 수치가 높다
  
  ex. 99 < 99.9
SLA(service level agreement) : 서비스 사업자와 고객 사이의 합의로 가용시간이 공식적으로 기술되어 있음.

가용률(%)	하루당 장애시간
99	14.40분
99.9	1.44분
99.99	8.64초
99.999	864밀리초
99.9999	86.4밀리초

개략적 규모 추정 연습

다음과 같은 상황에서 QPS(query per second)와 미디어 저장을 위한 저장소 요구량을 계산해보자
- 월간 사용자가 3억명
- 사용자의 50%가 매일 서비스를 사용
- 평균적으로 각 사용자는 하루에 2개의 메세지 전송
- 미디어를 포함하는 메세지는 전체 메세지중 10% (미디어는 1MB)
- 데이터는 5년간 보관됨

QPS 구하기
- 하루 사용자 수 * 하루에 전송하는 메세지 수 / 24시간 / 3600초 = 초당 쿼리수
  
  = 1.5억 * 2 / 24 / 3600 = 약 3500
⇒ QPS는 3500이다.
- 여기서 최대 QPS를 구하려면 한번에 2개의 메세지를 보낸다는 가정하에 3500*2=7000일 것이다.
미디어 저장소 요구량 구하기
- 하루 사용자 수 * 하루에 전송하는 메세지 수 * 0.1 * 1mb = 하루에 필요한 저장소 수
  
  = 1.5억 * 2 * 0.1 * 1mb = 3천만MB = 3만GB = 30TB