로컬 LLM 노트북, CPU보다 램을 먼저 보세요

회사에서 AI를 쓸 때 가장 많이 막히는 지점은 보안입니다. 계약서, 인사 자료, 원가 같은 파일은 외부 서비스에 올리기 어렵습니다. 그래서 노트북 안에서 모델을 직접 돌리는 로컬 LLM에 관심이 늘고 있습니다. 그럼 어떤 노트북을 사야 할까요? 결론부터 말하면 CPU보다 램을 먼저 보세요.

왜 램인가

모델을 돌리려면 모델 전체를 메모리에 올려야 합니다. 모델이 메모리에 다 안 들어가면 아예 실행이 안 되거나, 느려서 쓸 수 없습니다. 속도는 그다음 문제입니다.

애플 실리콘 맥북은 CPU와 GPU가 메모리를 함께 쓰는 구조라, 램 크기가 곧 올릴 수 있는 모델 크기가 됩니다. 윈도우 노트북은 그래픽카드 메모리(VRAM)가 같은 역할을 하는데, 노트북용 그래픽카드는 대체로 8~16GB라 큰 모델에는 한계가 있습니다.

용량별로 어디까지 되나

4비트로 줄인(양자화한) 모델 기준의 대략적인 감입니다. 같은 크기라도 모델과 설정에 따라 달라집니다.

램	돌릴 수 있는 모델 크기(대략)	이런 일에
16GB	8B급	요약, 문장 다듬기, 간단한 질의응답
32GB	30B급까지	문서 분석, 코드 보조, 사내 문서 검색
64GB	70B급(4비트)까지	더 정확한 분석, 긴 문서, 여러 작업 동시

모델 크기 외에도 운영체제와 다른 프로그램이 쓰는 메모리, 긴 문서를 넣을 때 늘어나는 메모리가 있으니 여유를 두는 게 좋습니다.

이 글에 나온 장비는 영상 속 장비 페이지에 모아 두었습니다.