Agent 만들기 [7] - LLM 과 SLLM 사이의 고민

결국 서비스화를 하려면 openai API 에 의존하지 말고 SLLM 을 돌려야 한다.

 

현재 서비스 실행시 openai 의 요금은 다음과 같다...

 

따라서 Meta 사의 Llama 3.2 1B Model 을 사용해 보았다.

 

허나 한국어를 잘 못읽는 문제가 있다..

 

검색을 하던 중 LG 의 EXAONE3.0 이 한국어에 대한 글로벌 최고 수준이라 한다는것을 발견하였다.

 

하지만 7.8B 이여서 나의 컴퓨터 그래픽카드 RTX3050 은 버틸수가 없었다..

 

 

따라서 도로 OPENAI 로 복귀하였다..