AI의 참고 자료
RAG는 검색 가능한 문서 집합에서 시작한다.
모든 문서가 아닌, 권한 있는 문서만 검색 대상이 된다.
6가지 문서 유형이 자물쇠 상태로 접근 가능 여부를 보여준다.
파싱과 정규화: 책 스캔
원시 문서는 구조화된 블록들로 분해된다.
PDF, 이미지, 테이블 등을 텍스트 블록으로 변환해야 검색이 가능하다.
원시 문서가 5가지 블록 타입으로 분리된다.
청킹: 퍼즐 조각
문서를 적절한 크기의 청크로 나눠야 정확한 검색이 가능하다.
너무 크면 정밀도가 떨어지고, 너무 작으면 문맥이 손실된다.
슬라이더로 청크 크기를 조절하고 정밀도 변화를 확인하세요.
오버랩 시각화
겹치는 부분이 문맥 연속성을 보장한다
임베딩과 벡터 DB: 의미 좌표
청크는 벡터로 변환되어 유사한 의미끼리 클러스터를 형성한다.
글을 숫자로 바꾸면 '비슷한 의미'를 '가까운 거리'로 계산할 수 있다.
청크 → 모델 → 벡터 → DB 파이프라인과 클러스터 공간을 확인하세요.
비슷한 주제의 청크들이 가까이 모인다
의미 검색 vs 키워드 검색 vs 혼합: 세 가지 방법
검색 방법에 따라 정확도와 속도가 달라진다.
뜻으로 찾기, 단어로 찾기, 둘 다 쓰기 - 세 가지 방법이 있다.
쿼리가 3가지 방법으로 동시에 검색되어 결과가 병합된다.
Dense
임베딩으로 의미적 유사도 검색
Sparse
BM25로 키워드 매칭 검색
Hybrid
두 방법의 장점을 결합
필터링: 스마트 필터
메타데이터 필터로 검색 범위를 좁혀 효율을 높인다.
날짜, 부서, 프로젝트 등으로 후보를 미리 걸러내면 검색이 빨라진다.
필터 토글을 클릭해서 후보 문서 수가 줄어드는 것을 확인하세요.
리랭킹: 2차 심사
AI가 상위 후보들을 다시 한번 꼼꼼히 비교해서 순서를 바꾼다.
초벌 검색 후, 쿼리-문서 쌍을 직접 평가해 순위를 조정한다.
버튼을 클릭해서 리랭킹 전후의 순위 변화를 확인하세요.
컨텍스트 조립: 답변 레시피
선택된 청크들이 프롬프트 템플릿에 조립된다.
토큰 예산 내에서 가장 관련성 높은 청크를 우선 배치한다.
시스템 프롬프트, 컨텍스트, 쿼리가 조립되고 토큰 예산 바를 확인하세요.
인용이 포함된 답변: 근거 출처
LLM이 검색된 컨텍스트를 기반으로 인용이 포함된 답변을 생성한다.
각 주장에 출처를 명시해 검증 가능하게 한다.
인용 번호를 호버해서 출처 정보를 확인하세요.
휴가 정책이 어떻게 되나요?
직원은 연간 15일의 유급 휴가를 받습니다, 5년 근속 후에는 20일로 증가합니다. 미사용 휴가는 최대 5일까지 이월 가능합니다