llama2, ollama, LLM on device 간단 리뷰, 장단점
2024. 2. 5.
서론 삼성 S24를 필두로 온디바이스 LLM이 매우 인기이다. 챗GPT가 멍청해졌다는 소문과, 원래 오픈 소스를 지향하다가 수익모델로 전환함 등등 챗GPT에 의존하면 안되겠다는 생각이 많이 들었다. 추가로 AI의 개발자들 밥그릇을 파괴하는 미래가 뻔히 보였기에, AI를 잘 다루는 사람이 살아남지 않을까 라는 N의 망상도 한 몫했다. 그래서 나만의 AI를 만들어 보고 싶었고, 더 나아가 회사에서 사용 가능한 AI를 도입해보면 너무 좋지 않을까? 싶었다. 오픈소스 LLM 관련자료는 너무 많다. llama2 (메타에서 만듦, 동성능llm대비 리소스효율적, 번역능력 좋음, 코딩 잘함, ram 8gb 필요) mistral 7B(mistal AI 라는 프랑스회사, ram 16gb 필요, 7B = billion, 7..