llama.cpp — 내 컴퓨터에서 AI를 직접 돌리는 '엔진'

AI 소식을 듣다 보면 'llama.cpp'라는 이름이 자주 등장합니다. 직접 쓰지 않더라도, 왜 이게 중요한지 정도만 알면 요즘 AI 흐름을 이해하는 데 도움이 됩니다.

• '내 컴퓨터에서 AI 돌리기'를 가능하게 한 도구 — 예전엔 좋은 AI를 쓰려면 비싼 서버나 고성능 그래픽카드(GPU)가 필요했습니다. llama.cpp는 평범한 노트북·PC에서도, 심지어 GPU 없이 일반 CPU만으로도 작은 모델이라면 돌아가게 만들어, AI를 '내 기기에서' 쓰는 길을 크게 넓혔습니다.
• 쉬운 도구들의 '속엔진' — 비개발자가 쓰기 쉬운 ollama 같은 로컬 AI 도구들이 내부에서 바로 이 llama.cpp 엔진을 활용합니다. 즉 우리가 쉬운 앱을 클릭할 때, 보이지 않는 곳에서 이 부품이 일하고 있는 셈입니다.
• 무료·오픈소스라 모두가 손본다 — 공식 저장소 기준 MIT 라이선스라 누구나 무료로 쓰고 고칠 수 있어, 전 세계 개발자가 함께 개선합니다. 그래서 발전이 빠르고 자주 화제가 됩니다.

핵심은 이렇습니다. 이름은 자주 들리지만, 비개발자가 이 엔진을 직접 만질 일은 드뭅니다. '아, 내 컴퓨터에서 AI를 돌리게 해주는 무료 엔진이고, 쉬운 도구들의 속재료구나' 정도로 이해하면 충분합니다.

llama.cpp는 개발자, 또는 글자 명령(터미널)과 프로그램 빌드가 익숙한 사람을 위한 도구입니다. 비개발자에게는 직접 쓸 이유보다 '이런 게 있다'고 아는 의미가 더 큽니다. 시작 전에 솔직히 알아둘 문턱은 이렇습니다.

• 터미널을 써야 합니다 — 마우스 클릭이 아니라 글자 명령으로 설치·실행합니다. 공식 빌드 문서의 모든 안내가 명령 입력 기준입니다.
• 빌드(조립)가 필요할 수 있습니다 — 공식 빌드 문서 기준, 코드를 받아 직접 '빌드'(소스를 프로그램으로 조립)하는 흐름이 기본입니다. 이때 CMake, C++ 컴파일러, Git 같은 개발 도구가 필요합니다. 미리 만들어진 실행 파일(prebuilt)을 받는 길도 있지만, 그 역시 터미널 사용이 전제입니다.
• 모델 파일을 따로 구해야 합니다 — 엔진만으론 답을 못 합니다. 'GGUF'라는 형식의 AI 모델 파일을 별도로 내려받아 넣어줘야 작동합니다.

그래서 '내 컴퓨터에서 로컬 AI를 써보고 싶다'면, 같은 엔진을 마우스 위주로 쉽게 감싼 ollama로 시작하는 게 정답에 가깝습니다. llama.cpp는 그걸로 충분치 않거나 세부를 직접 손봐야 할 때 찾는 도구입니다.

공식 저장소 기준, llama.cpp가 잘하는 일과 한계를 비개발자 눈높이로 정리하면 다음과 같습니다. 표는 변동될 수 있으니 큰 흐름으로만 봐주세요.