LM Studio 챗봇 사용법 - Llama 3.2-3B 사용 후기
LM Studio UI 변경점
기존 버전에서 0.3.4 버전으로 바뀌면서 UI가 변경되었습니다.
LM Studio 다운로드 바로가기
전보다 더 UI가 심플하게 바뀌었습니다.
왼쪽 사이드
- 노란색 - 챗봇 대화
- 초록색 - 서버 관리
- 빨간색 - 모델 관리
- 보라색 - 모델 검색
Llama 3.2 다운로드
Meta에서 Llama 3.2 버전이 새로 나왔습니다.
오른쪽에 돋보기 모양에 Llama 3.2 검색하셔서 다운로드하시면 됩니다.
Llama 3.2 챗봇 사용하기
왼쪽 사이드바에서 노란색 챗봇을 누르시고 "Select a model to load" 또는 "Load a mode" 눌러서 다운로드하신 모델을 불러오면 됩니다.
모델 선택하신 후에 다음과 같은 화면으로 오는데, 설정 값 수정을 원하시는분은 수정하시면 됩니다.
처음이시면 기본값으로 그냥 사용하세요.
그리고 챗봇 사용하는 것 처럼 사용하시며 됩니다.
체감상 Llama 3.1 보다 출력속도가 더 빠릅니다.
Llama 3.2 단점
아주 치명적인 단점은 한글을 매우 못합니다.
그리고 할루시네이션이 너무 심합니다.
아무리 프롬프트 엔지니어링을 안 했다고 하더라도 모델이 지금 Llama 3.2인데... 그래도 이거 보면 그래도 Meta가 데이터 정보를 여기저기서 막 긁어온 건 아닌 거 같네요.
할루시네이션(환각 현상)
AI 모델이 질문에 대해 정확한 답을 모르거나 훈련 데이터에 없는 정보를 요청받았을 때, 그럴듯한 답변을 지어내어 사실인 것처럼 거짓말을 하는 현상.
그래서 한글로 물어보면 원하는 답변이 나오지 않을 겁니다.
또한, 이상한 문자와 말로 사실을 왜곡하고... 그러는 경우가 많습니다.
한국어 능력이 아쉬운 Llama 3.2 - 역사 질문
역사 질문 및 답변 1
역사 질문 및 답변 2
한국어 능력이 아쉬운 Llama 3.2 - 레시피 질문
주어진 응답 길이를 맞추려고 마지막에 계속 똑같은 말을 반복적으로 하는 걸 볼 수 있습니다.
요리 레시피 질문 및 답변 1
요리 레시피 질문 및 답변 2
태국어도 있고, 영어도 섞이고 답변이 이상합니다.
사용하기 어렵습니다.
한국어 능력이 아쉬운 Llama 3.2 - 스포츠 선수 질문
스포츠 선수 질문 및 답변 1
사실과 완전 다른 내용을 말합니다.
스포츠 선수 질문 및 답변 2
전 질문과 다르게 골프 선수 힌트까지 줬는데, 이것도 완전 사실과 다른 얘기를 합니다.
영어로 질문 하기 Llama 3.2
역사 질문 및 답변
영어로 다시 이순신 장군에 대해 물어봤는데, 완전 꽝입니다.
요리 레시피 질문 및 답변
요리 레시피는 그나마 조금 괜찮습니다.
스포츠 선수 질문 및 답변
한글보다 훨씬 거짓말을 덜 하지만 여기서도 거짓된 정보가 포함된 걸 볼 수 있습니다.
Llama 3.2 3B 사용 후기 및 결론
오른쪽 상단에 실험실 모양 같은 아이콘이 있는데 여기에 있는 Preset에서 "System Prompt"를 통해 프롬프트 엔지니어링을 하여, 할루시네이션을 줄이거나, 아니면 한국어 LLM 모델을 검색해서 다운로드 해서 사용하면 될 것 같습니다.
모델 검색에 들어가서 Korean 검색해서 나오는 모델들을 보고 다운로드 받으시면 될 것 같습니다.
외국 서비스 중에 ChatGPT, Claude, Perplexity 등 메이저 서비스를 제외하고 한국어 능력은 별로 인 듯합니다.
댓글