Intellij - LLM 연동하기: 모델 다운로드

개요

인텔리제이와 LLM을 연동하려면 Proxy AI라는 플러그인을 사용한다. 이 플러그인은 대화형을 지원하기 때문에 AI 모델도 대화형이 지원되는 걸 다운로드해야 한다. 모델 이름에 Instruct 가 붙어 있는 게 대화형을 지원하는 모델이다. 대화형을 지원 안 하는 모델도 사용 가능하지만 벽에다 대고 말하는 것 같은 기분이 드니까 처음부터 Instruct 가 붙어 있는 모델을 다운로드 하자.

 

허깅페이스에서 CodeLlama-34B-Instruct-GGUF 모델을 다운로드 받았다.

• CodeLlama: 모델명
• 34B: 모델 파라미터 수 (340 억)
• Instruct: 대화형 지원
• GGUF: 경량 파일 포맷 (로컬 환경에서도 빠르게 실행할 수 있음)

https://huggingface.co/TheBloke/CodeLlama-34B-Instruct-GGUF

TheBloke/CodeLlama-34B-Instruct-GGUF · Hugging Face

 

이 모델을 선택한 이유는 첫 번째, Meta 가 만들었다는 점. 두 번째, 코드 생성 모델들을 비교한 지표들을 확인했을 때 상위권에 있다는 점. 세 번째, 다운로드 수가 가장 많은 점. CodeLlama보다 우위에 있는 신규 모델들도 있었다. 다만 유저들의 데이터가 가장 많았고, 메타에 대한 믿음(?)으로 업데이트도 주기적으로 이루어질 것 같아 해당 모델을 선택했다.

 

모델 선택 시 고려한 점

1. 주기적으로 업데이트 되는가
2. 신뢰성이 있는 모델인가
3. 한글 질문을 잘 이해하는가