모델 크기는 VRAM과 직결됩니다. 4비트 양자화 기준으로 대략 모델 크기와 같은 GB가 필요합니다.
| 모델 크기 | Q4 VRAM | 권장 GPU | 용도 |
|---|---|---|---|
| 7~8B | 약 5GB | L4 24GB / RTX 4060Ti | 요약·분류·RAG |
| 14B | 약 9GB | L4 24GB | 복합 문서 처리 |
| 32B | 약 20GB | L4 24GB (단일) | 고난도 추론 |
영어 벤치마크 순위가 한국어에서 그대로 유지되지 않습니다. 실제 업무 문서로 반드시 비교해야 합니다.
가장 큰 모델이 항상 최선은 아닙니다. 현장 업무는 대부분 7~14B로 충분합니다.