메모장

벡터 유사도 검색

일반적인 키워드 검색은 검색한 단어가 포함된 결과만 반환하는 반면, 벡터 유사도 검색은 단어의 의미적 관계를 기반으로 검색을 수행함. 벡터화된 데이터(숫자로 변환된 단어)는 의미적으로 비슷한 것끼리 가까운 숫자(벡터)로 배치되어 "배고파"와 관련한 "맛집", "존맛탱" 과 같은 문서들도 검색 결과로 나오게 됩니다.

임베딩

임베딩은 고차원의 복잡한 데이터를 저차원의 연속적인 벡터 공간으로 매핑하는 기술로 컴퓨터가 이해할 수 있는 다차원 좌표를 부여해 데이터 사이의 관계를 나타낼 목적으로 만들어졌다. 임베딩 기술은 고차원 데이터를 저차원 벡터로 표현함으로써 계산 자원을 절약하고 알고리즘의 효율성을 높이는 장점이 있으며 의미적인 검색이 가능하기에 RAG에도 핵심 기술로 자리 잡고 있다.

파인튜닝(fine-tuning)

파인튜닝은 LLM을 특정 작업이나 도메인에 맞춰 추가로 학습시키는 과정을 말한다. 일반적으로 파인튜닝은 대규모 데이터셋으로 사전에 학습된 모델을 최적화 할 때 사용한다. 파인튜닝은 모델을 변경시킨다는 특징이 있다.

트랜스포머(Transformer)

트랜스포머는 딥러닝 모델의 한 종류로서 챗GPT와 같은 자연어 처리 분야에 혁신을 가져왔다. 병렬 학습이 가능한 구조로 학습 속도를 혁신적으로 향상 시켰다. 입력 시퀀스 전체에서 중요한 부분에 집중하는 메커니즘인 어텐션(attention)이 핵심이다.

스테이블 디퓨전(Stable Diffusion)

스테이블 디퓨전은 텍스트를 입력하면 여기에 맞춰 이미지를 생성해 주는 인공지능 모델로서, 방대한 양의 텍스트와 이미지를 학습해 양자 사이의 관계를 이해한다.

RAG(Retrieval Augmented Generation)

검색 증강 생성이라고 불리는 RAG는 LLM의 성능을 향상시키고 환각을 억제하기 위해 외부 지식베이스를 활용하는 기술이다. LLM에서 모든 답변을 만들어내는 대신 기업이나 조직이 보유한 정보를 토대로 정확하고 신뢰할 수 있는 답변을 만들어내는 애플리케이션이다. RAG는 정보 검색과 텍스트 생성을 결합한 방식으로 동작하며, 정보 검색을 위해서는 임베딩과 벡터 데이터베이스를 활용하고 텍스트 생성을 위해서는 LLM을 이용한다. RAG는 사용자의 질문을 임베딩 한 후, 이 벡터를 기준으로 벡터 데이터베이스에서 가장 관련성이 높은 유사한 문서 조각을 가져온 다음에 LLM이 생성한 대답을 벡터 데이터베이스에서 인출한 정보로 제한하도록 프롬프트를 만든다.

벡터 데이터베이스

벡터 데이터베이스는 임베딩으로 만든 벡터를 데이터베이스로 관리하는 시스템이다.

https://edc.taleo.net/careersection/corporate_2020/jobdetail.ftl https://www.ksure.or.kr/rh-kr/bbs/i-329/detail.do