공부
-
로컬 환경에서 나만의 GPT를 구동해보자 llamafile공부 2023. 12. 13. 00:34
졸업을 앞두고 이것저것 보다가 재밌는 영상을 봤다. https://www.youtube.com/watch?v=_tUDZdlehAk 연구실 형이 소개해줘서 종종 챙겨보는 유튜버인데, 엄청난 드립력과 딕션으로 최신 유행하는 내용들을 때려박아줘서 그냥 보기에도 재밌고 유익한 채널이다. NLP 전공은 아니지만 분명 핫한건 사실이기때문에, 최근 K-뭐시기 해커톤에 LLM 토이 프로젝트 경험차 팀으로 나가서 이리저리 테스트 해보면서 몇가지 놀란 포인트들이 있었다. (이건 쓰다보니 꽤 길어져서 다른 글로 분리할 생각이다.) 작은 모델로도 글을 만드는것 자체는 꽤나 잘 하는것 같고, 요즘 특히 보안이나 비용 이슈로 로컬에서 돌리는 소위 sLLM에 대한 수요가 있는 상황에 적절한 프로젝트라고 생각해서 주말을 사용해 탐구..
-
Memory Networks공부/논문리뷰 2022. 7. 15. 02:15
1. Introduction오늘날 대부분의 모델들은 장기 기억요소(Long-term memory component)를 전혀 사용하지 못하고 있다. QA task를 생각해 보자면, RNN을 사용해 구현하는 경우, 일련의 사실이나 이야기를 들은 후, 하나의 hidden vector로 표현한다. 이러한 저장은 일반적으로 너무 작고, 과거의 사실들을 정확하게 기억한만큼 충분하지 못하다. 본 모델에서는 이러한 문제를 해결하기 위해 메모리 네트워크 라는 새로운 모델 구조를 제안한다. 핵심 아이디어는 추론을 위해 ML의 학습전략을 메모리 요소와 결합하는 것이다. 2. Memory networks2.1 구성요소mmm : memoryI : (input feature map) 입력된 input을 feature repre..