llm
-
로컬 환경에서 나만의 GPT를 구동해보자 llamafile공부 2023. 12. 13. 00:34
졸업을 앞두고 이것저것 보다가 재밌는 영상을 봤다. https://www.youtube.com/watch?v=_tUDZdlehAk 연구실 형이 소개해줘서 종종 챙겨보는 유튜버인데, 엄청난 드립력과 딕션으로 최신 유행하는 내용들을 때려박아줘서 그냥 보기에도 재밌고 유익한 채널이다. NLP 전공은 아니지만 분명 핫한건 사실이기때문에, 최근 K-뭐시기 해커톤에 LLM 토이 프로젝트 경험차 팀으로 나가서 이리저리 테스트 해보면서 몇가지 놀란 포인트들이 있었다. (이건 쓰다보니 꽤 길어져서 다른 글로 분리할 생각이다.) 작은 모델로도 글을 만드는것 자체는 꽤나 잘 하는것 같고, 요즘 특히 보안이나 비용 이슈로 로컬에서 돌리는 소위 sLLM에 대한 수요가 있는 상황에 적절한 프로젝트라고 생각해서 주말을 사용해 탐구..