RAG 가 주목받는 이유

RAG 검색, 증강, 생성

 

왜 요즘 HOT? 주목받고 있는지?

 

기술은

갈증이 있고 이를 해결할 때 주목을 받음

 

AS-IS

ChatGPT를 사용함

전문적인 영역까지 사용함 BUT 문제점

1. 최신 정보가 학습되어 있지 않음

어제, 오늘의 일이 반영이 안 됨

2. 나, 우리 회사에 제한되어 있는 내부데이터에 학습되어 있지 않음

GPT한테 회사 내부에 있는 정보로 활용하고 싶음

회사의 정보를 정제해서 파일을 첨부하면 답변할 수 있음

근데 올리면 오픈 AI에 임시로 저장이 되어서 기밀유출문제가 있음

원하는 내용을 검색할 때 답변을 잘 못할 경우가 많음, 잘못된 내용을 답변함 -> 거짓말!!

평상시ㄴ에는 괜찮지만 회사 내부, 법률을 검토시 문제가 됨

4. 할루시네이션 현상

 

TO-BE

1. 최신 정보 기반으로 답변, 정보 못찾을시 검색 기능으로 답변함

2. 제한된 내부데이터를 참고해 답변

3. 문서를 내부 DB에 저장, 축정해서 DB에 원하는 정보를 검색해서 검색된 정보를 바탕으로 답변함

원하는 정보를 검색해 검색된 정보를 바탕

4. 할루시네이션 현상 줄임

 

답변 작성하게 함 -> 답변된 내용이 다시 문서로 돌아가서 검증 과정을 함

 

궁극적으로 더 나은 답변 품질 기대함, 방대한 지식 기반으로 답변하는 도메인 특화 챗봇을 생성하는 것이 가능함

도메인 특화 : 나의 개인화된 챗봇을 만들거나 회사 내부에 특화된 챗봇을 만듦

 

EX) 레그 없이 테디의 아버지 이름은 뭔지?

가족관계증명서 문서를 주고 다시 질문한다면 정답을 찾음

 

GPT가 사전지식이 아니라 답변할만한 참고문서를 줘서 답변하도록 하는 것임

정보검색을 하는 대상은 인터넷, 문서 등 다양한 도메인임

그래서 이 RAG 시스템을 더 고도화 하는 것임

이 레그시스템이 있으면 더 잘 답변을 하는 것임

 

---

ChatGPT에 내장되어 있는 RAG (공개되지 않음)

문서를 업로드 -> 문서 기반으로 답변함

8단계가 블랙박스로 공개하고 있지 않음

이를 구체적으로 알기 위해 구체적인 질문을 함

 

실제로 구체적인 질문을 하면 답변을 못하는 것을 알 수 있음

 

가지고 있는 문서를 ChatGPT가 잘 검색할 수 있는 형태로 변경하는 것이 힘듦

= 불가능

 

오픈 AI의 RAG가 공개되어 있지 않음

문서 뭐 썼는지 도메인 뭔지 데이터 뭔지!! 아예 모름

디버깅이라는 원인 분석을 할 수 없음

시스템 하나 하나를 구현할 수 있음

처음에는 답변이 잘 나올 수도 있고 안 나올 수 있음

하나씩 튜닝해서 업그레이드 하는 것임

 

유튜브에 프롬프트 엔지니어링이 많음 - 얘도 중요한 단계임

이거 만으로는 성능 올리는 데 한계가 있음

RAG를 쓰면 Context optimization하는 것이 올라감

GPT는 범용모델임 - 우리가 가진 데이터셋으로 미세조정해서 도메인 특화된 모델을 할 수 있음

환각현상을 방지하는 것을 가능하게 함

 

원래 모델이 뽐내는 것을 훨씬 포텐셜을 올릴 수 있음

 

---

PEFT 펩트 - FINE TUNING임

FULL FINE-TUNING 이거는 개인의 수준으로는 힘듦

 

Complexity는 prompt engineering은 안에 텍스트만 하면 되는 거라 아주 쉬움

RAG도 사실 낮음 그냥 8단계로 정의한 세부 모듈을 플러그인으로 뺐다가 꼈다가 하는 수준이라 쉬움

대단한 기술 X

 

Up to Date Respones

 

답변의 과정을 확인할 수 있음

RAG가 압도적으로 높음 

 

---

답변 과정을 하나씩 확인 가능

답변을 도출하기까지의 과정을 알 수 있음

 

1454는 토큰의 수 = 비용과 밀접함

 

중간과정을 보면 query

첫번째 문서를 가장 많이 참고하는지 알 수 있음

문서를 클릭해서 열어보면 가져온 내용을 들여다볼 수 있음

 

답변이 왜 잘 안 나왔는지 기존에는 추적할 수 없음

검색된 내용이 없다는 것을 다시 확인할 수 있음

그럼 검색이 될수록 알고리즘, 어떤 것들을 수정할 수 있음

유효한 정보 기반으로 답변을 강제 가능

답변에 대한 출처를 다시 주어진 문서를 찾게 함