[LLM] Ollama 란? / Ollama 사용해보기

1. Ollama란?

Ollama는 Llama2, Llama3, Phi 같은 LLM(대규모 언어 모델)을 로컬(내 컴퓨터)에서 간편하게 실행할 수 있도록 하는 프레임워크이다. 인터넷 연결 없이도 GPT처럼 작동하는 모델을 실행할 수 있으며, 사용 방법이 쉬워 누구나 손쉽게 LLM을 로컬에서 실행하고 서버 형태로도 배포할 수 있다.

 

2. Ollama 설치

https://ollama.com/download

Download Ollama on macOS

 

위 링크를 들어가, 운영체제에 맞게 다운로드하면 된다.

3. Ollama 실행

터미널창에 ollama list를 입력하면, NAME, ID, SIZE, MODIFIED만 나오고 아무것도 나오지 않는다. 아직 로컬에 ollama 환경으로 설치된 LLM 모델들이 없기 때문이다.

 

LLM 모델 중 mistral 모델을 받아서 실행해보자.

 

터미널에 다음 명령어를 입력한다.

ollama run mistral

 

(RAM 용량 부족 이슈로 설명만 있음...)

 

만약 PC에 mistral 모델이 없을 경우에는 알아서 다운로드를 실행시킨다. 다운로드가 완료되면 verifying 메시지가 뜨다가 마지막엔 success가 나올 것이다.

 

이후 커맨드라인 옆에 send a message가 보일 것이다.