16장. Kafka 메모리 맵(vm.max_map_count)

Kafka는 데이터를 디스크에 저장할 때, 파일을 메모리에 매핑(mmap)하는 방식을 사용합니다. 이 장에서는 Kafka에서 메모리 맵이 왜 중요한지, 설정 방법과 주의사항을 정리합니다.

16.1 메모리 맵(Memory Map)이란?

• 디스크 파일을 직접 접근하지 않고, 메모리처럼 빠르게 접근할 수 있게 해주는 운영체제 기능입니다.
• 기존 read()/write() 방식보다 빠른 데이터 접근이 가능합니다.

📦 비유: 책장을 열어 책을 꺼내는 대신, 책상 위에 펼쳐놓고 바로 읽는 것과 같습니다.

16.2 Kafka에서 메모리 맵이 중요한 이유

• Kafka는 각 파티션마다 여러 개의 로그 세그먼트 파일을 관리합니다.
• 세그먼트 파일은 인덱스 파일과 타임 인덱스 파일로 구성되고, 각각 메모리에 매핑됩니다.
• 세그먼트 수가 많아질수록 필요한 메모리 맵 수도 급격히 증가합니다.

16.3 메모리 맵 부족 시 문제

• vm.max_map_count(한 프로세스당 메모리 맵 최대 개수)를 초과하면:
  • 파일을 메모리에 매핑하지 못함
  • OutOfMemoryError (Map failed) 오류 발생
  • Kafka 브로커 다운 위험

특히 파티션 수가 많거나, 세그먼트 크기가 작을 경우 더욱 치명적입니다.

16.4 현재 메모리 맵 설정 확인 및 변경 방법

현재 설정 확인

cat /proc/sys/vm/max_map_count

임시 설정 (재부팅 시 초기화)

sudo sysctl -w vm.max_map_count=262144

영구 설정 (/etc/sysctl.conf)

echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

16.5 메모리 맵 수에 따른 메모리 소모량

현대 서버 메모리 용량을 고려하면, 메모리 맵 수를 충분히 늘려도 부담이 거의 없습니다.

16.6 필요한 메모리 맵 수 계산 방법

기본 공식

필요 메모리 맵 수 = (파티션 수) × (파티션당 세그먼트 수) × 2

여유를 고려한 공식 (30% 추가)

필요 메모리 맵 수 = (파티션 수) × (세그먼트 수) × 2 × 1.3

예시 계산

• 파티션 수: 10,000개
• 평균 세그먼트 수: 5개

10,000 × 5 × 2 × 1.3 = 130,000

→ 최소 262,144개(2¹⁸)로 설정하는 것이 안전합니다.

16.7 왜 262,144(2¹⁸)를 권장하는가?

• 262,144는 2¹⁸로, 시스템 자원 관리를 최적화할 수 있는 크기입니다.
• Kafka 운영 특성상 파티션, 세그먼트 수가 증가하기 때문에 여유 있게 설정하는 것이 안전합니다.
• Kafka 공식 가이드와 커뮤니티에서도 기본적으로 262,144 이상을 권장합니다.

16.8 결론

• 메모리 맵은 Kafka 브로커의 데이터 처리 성능과 안정성에 직접적인 영향을 줍니다.
• 파티션 수, 세그먼트 수를 고려하여 필요한 메모리 맵 수를 계산하고 충분히 여유를 둬야 합니다.
• 기본적으로 vm.max_map_count=262144 이상으로 설정하고, 필요한 경우 더 높게 조정하는 것이 좋습니다.

Kafka 브로커를 안정적으로 운영하기 위해, 메모리 맵 설정은 필수적인 튜닝 항목입니다.