Ollama(올라마) 설치 및 사용법 - Llama 3.2 3B 사용하기
시작하기 앞서...
개발자가 아니신 분은 LM Studio가 이용하기 더 쉽습니다.
비-개발자분들은 ChatGPT처럼 사용하기 쉽게 사용할 수 있으니 LM Studio를 추천드립니다.
최근에 LM Studio가 0.3.4 버전이 출시하여 UI까지 깔끔하게 바뀌어서 사용하기 편할 수 있습니다. 모델 다운로드 받기도 더 쉽습니다.
포스팅 바로 가기 LM Studio 챗봇 사용법 - Llama 3.2-3B 사용 후기
포스팅 바로 가기 LM Studio 기능 및 사용법 - Llama 3.1-7B 로컬 챗봇 만들기(파이썬)
Ollama(올라마)란?
Ollama는 대규모 언어 모델(LLM)을 로컬 환경에서 쉽게 실행할 수 있도록 설계된 오픈소스 도구입니다.
Ollama(올라마) 다운로드
먼저, Ollama 홈페이지 가시면 자신의 OS에 맞게 설치하실 수 있습니다.
Ollama 홈페이지 다운로드 바로가기
이번 편은 Mac으로 설명드리겠습니다.
윈도우 사용하시는분은 어떤 외국인분이 자세하게 설명한 글이 있는데 링크 첨부하겠습니다.
Ollama(올라마) Llama 3.2 정보
9월 말에 Meta에서 Llama 3.2 huggingface에 공개하였습니다.
자세한 정보를 원하시는 분은 hunggingface에서 확인하실 수 있습니다.
Hunggingface 링크 Llama 3.2 정보 보러가기
Gemma와 Phi의 벤치마크 비교 결과도 있으니, 원하시는 분은 참고하시면 됩니다.
Llama 3.1 vs Llama 3.2
모델 구조 및 성능
- 학습 데이터: Llama 3.2는 Llama 3.1보다 더 풍부하고 다양한 데이터로 학습되었습니다. 언어의 뉘앙스, 복잡한 문맥, 문화적 맥락을 더 깊이 이해할 수 있게 되었습니다.
- 모델 아키텍처: Llama 3.2는 더 효율적인 Attention 메커니즘을 도입하여 정보 처리 속도를 향상시켰습니다. 긴 문맥을 처리할 때도 일관성 있고 정확한 결과를 낼 수 있게 되었습니다.
- 파라미터 최적화: Llama 3.2는 더 적은 파라미터로도 Llama 3.1과 유사하거나 더 우수한 성능을 발휘합니다. 모델 실행 시 필요한 자원과 메모리 사용량이 감소했습니다.
기능 및 능력
- 다중 모달 기능: Llama 3.2는 텍스트뿐만 아니라 이미지도 처리할 수 있는 비전 모델(11B 및 90B 파라미터)을 도입했습니다. 이를 통해 차트, 그래프, 이미지 등을 텍스트와 함께 해석할 수 있게 되었습니다.
- 메모리 관리: Llama 3.2는 개선된 메모리 관리 기술로 더 많은 입력 토큰을 동시에 처리할 수 있게 되었습니다. 이로 인해 긴 문장이나 복잡한 문단을 더 원활하게 다룰 수 있습니다.
Ollama(올라마) 설치
Ollama Llama 3.2 설치
ollama run llama3.2여기까지 하시면 Llama3.2 설치 끝입니다.
Ollama Llama 3.2 확인
올라마가 잘 설치되었는지 확인하실 수 있습니다.
Llama3.2:latest는 Llama 3.2 3B 모델입니다.
터미널에서 ollama list 명령어를 통해 다운 받은 모델을 확인하실 수 있습니다.
ollama list
그리고 추후에 11B와 90B Vision(비전) 모델도 나온다고 합니다.
Ollama(올라마) 터미널에서 사용하기
다음 명령어를 터미널에 입력하면 됩니다.
ollama run llama3.2다음 명령어를 터미널에 입력하면 다음과 같이 나옵니다.
이제 여기서 원하시는 걸 질문을 하면 됩니다.
사용하시면 답변 속도가 llama 3.1 보다는 확실히 빨라진 걸 체감할 수 있습니다.
Ollama 종료하기
/bye
한국어 능력이 별로인 Llama 3.2 3B 모델
Llama 3.2는 아직 한국어는 미숙합니다.
영어로 답변이나, 질문을 했을 때는 잘 하지만 한국어에 대해서는 잘 못합니다.
할루시네이션(환각) 증상도 많고 거짓된 정보도 많이 뱉습니다. 추가로 언어를 영어와 일본어도 같이 씁니다.
그래서 영어로 질문하시는 걸 추천드립니다.
>>> 한국어에 대해 알려주세요
한국은 한국 半도섬에 위치한 국가입니다. 북한과 중국에서 주변으로 둘러싸여 있습니다.
한국은 역사적인 가치와 문화 richness를 가지고 있으며, 현재는 도시화되어 있는 현대의 도시와 전통적인 마을을 함께持고 있습니다.
한국은 세계적으로 유명한 K-POP 이deer과 영화, 드라마가 출현하여 많은 인기를 얻고 있습니다.
한국의 식사는 한국이 유명한 spice flavor와 bolding ingredient를 가지고 있으며, 다양한 요리와 음식이 있습니다. 대표적인 음식은 비빔밥(Bibimbap), kimchi(Kimchi), bulgogi(Bulgogi)입니다.
제주도는 한국 남쪽 해안의 섬으로, Natural Beauty와 Unique Volcanic Landscape로 유명합니다.
한국은 always welcome to visitors를 가지고 있으며, 다양한 경험이 available합니다. K-Beauty shoping과 전통적인 게임을 tries하는 것이 possibleです.
>>> 세종대왕에 대해 설명해주세요.
세종대왕 (, 1555년 - 1608년)은 한국의 역사가와 정치가로, 조선 시대의 대제 monarch 중 하나입니다.
세종대왕은 조선의 제 4代 인물로서, 1545년부터 1567년까지 즉위하였으며, 40여 년 동안 통치하였습니다. 그는 "세종"으로 명명되었으며, 이는 "정원을 보다" 또는 "보수"로 translating됩니다.
세종대왕은 조선 시대의 가장 중요한 monarch 중 하나이며, 그의 재위 기간 동안 한국은 대규모 공공 프로젝트를 수행하였습니다. 가장 유명한 공공 프로젝트는 세종도(, 1587년 - 1592년)입니다. 세종도는 한강을 따
라 건설된 수용 장소로, 한국의 역사와 문화를 전하는 önemliな 장소입니다.
세종대왕은 또한 한국의 문학과 예술에 대한 시도였습니다. 그는 "세종시문원"으로 명명된 문물을 설립하였으며, 이 문물은 한국의文学 및 음악 문화를 발전시키는 데 중요한 역할을 해forth에 있습니다.
세종대왕은 또한 조선의 정치와 군사력에 대한 시도였습니다. 그는 "세종시중부"로 명명된 주변 군대를 설립하였으며, 이 군대는 한국의 군사력과 정치를 발전시키는 데 중요한 역할을 해forth에 있습니다.
세종대왕은 1608년 사망하였고, 그의 아들 인 태조는 세종대왕이 통치한 동안에서 수립된 세종시(, 1592년 - 1864년)으로 명명되어います.Ollama(올라마) 명령어
Ollama 명령어는 다음과 같습니다.
| 명령어 | 설명 | 예시 |
| serve | Ollama 시작하기 | ollama serve |
| create | Modelfile에서 모델 생성하기 | ollama create mymodel -f ./Modelfile |
| show | 모델 정보 보기 | ollama show mymodel |
| run | 모델 실행하기 | ollama run mymodel |
| pull | 레지스트리에서 모델 가져오기 | ollama pull llama3.2:latest |
| push | 모델을 레지스트리에 업로드하기 | ollama push mymodel |
| list | 모델 목록 보기 | ollama list |
| ps | 실행 중인 모델 목록과 하드웨어 사용량 확인 | ollama ps |
| cp | 모델 복사하기 | ollama cp llama3 my-model |
| rm | 모델 삭제하기 | ollama rm llama3 |
| help | 명령어 도움말 보기 | ollama help |
Ollama(올라마) Open-WebUI 링크
Ollama(올라마)를 ChatGPT처럼 사용하시려면 Open-WebUI를 사용하시면 됩니다.
Docker를 사용해서 챗GPT(ChatGPT)와 99% 똑같은 챗봇을 사용하실 수 있습니다.
설치 방법과 자세한 설명이 있으니 원하시는 분은 참고하시면 됩니다.
Ollama(올라마)와 Open-WebUI 사용법 - Docker로 챗봇 만들기
시작하기 앞서...Docker를 사용해서, 인터넷 없이도 1인 또는 그룹에서 사용할 수 있는 챗봇을 만들어보려고 합니다.챗봇 툴: 오픈 소스인 Open-WebUI모델 관리 및 실행 플랫폼 : Ollama(올라마)사용 모
hyunicecream.tistory.com
실행하면 다음과 같이 나오니, 참고하시면 됩니다. 
이런식으로 나만의 챗봇을 사용하실 수 있습니다.
댓글