포스트

AGENTIC RETRIEVAL-AUGMENTED GENERATION: A SURVEY ON AGENTIC RAG

여기에 입력하면 된다.

게시
By Minsu Son
34 분읽는 시간

AGENTIC RETRIEVAL-AUGMENTED GENERATION: A SURVEY ON AGENTIC RAG

  • RAG 중 특히 Agentic RAG 에 대해서 더 알아보기 위해서 이 논문을 살펴보도록 하겠다.

Abstract

1. Introduction

2. Foundations of Ratrieval-Augmented Generation

3. Core Principles and Background of Agnetic Intelligence

Agentic Intelligence 는 Agentic RAG 시스템의 기반을 이루며, 이들이 전통적인 RAG 의 정적이고 반응적인 특성을 넘어설 수 있도록 해준다.

동적인 의사결정, 반복적인 추론, 협업 워크플로우가 가능한 자율 에이전트를 통합함으로써, Agentic RAG 시스템은 향상된 적응성과 정밀성을 보여준다.

Agent 의 구성 요소

  • LLM : 이는 사용자 질의를 해석하고, 응답을 생성하며, 일관성을 유지한다.
  • Memory : 상호작용 전반에서 문맥과 관련 데이터를 포착한다.
    • Short-term memory : 현재 대화 상태를 추적한다.
    • Long-term memory : 축적된 지식과 에이전트 경험을 저장한다.
  • Planning : Reflection, Query Routing 또는 Self-Critique 를 통해 에이전트의 반복 추론 과정을 안내한다. 복잡한 작업이 효과적으로 분해되도록 보장한다.
  • Tools : 텍스트 생성 이상의 능력을 에이전트에게 부여하며, 외부자원, 실시간 데이터 또는 특화된 계산 기능에 접근할 수 있도록 한다.

3.1 Reflection

Agentic 워크플로우의 기본적인 설계 패턴으로, 에이전트가 자신의 출력을 반복적으로 평가하고 개선할 수 있게 해준다.

자기 피드백 메커니즘을 포함함으로써, 에이전트는 오류, 불일치, 개선이 필요한 부분을 식별하고 해결할 수 있다.

  • 위처럼 코드생성, 텍스트 작성, 질의 응답 등의 작업 전반에서 성능을 향상시킨다. 실제 사용에서는 Reflection 은 에이전트가 자신의 출력에 대해 정확성, 스타일, 효율성 측면에서 비판하도록 유도하는 것을 포함한다. 그런 다음 해당 피드백을 이후 반복 과정에서 반영한다.

단위 테스트나 웹 검색과 같은 외부 도구들은 결과를 검증하고 누락된 부분을 강조함으로써 이 과정을 더욱 향상시킬 수 있다. 다중 에이전트 시스템에서는, Reflection 은 각기 다른 역할을 포함할 수 있다.

예를 들어, 법률 리서치에서는 에이전트가 검색된 판례를 반복적으로 재검토함으로써 응답을 점차 개선할 수 있다. 이를 통해 정확성과 포괄성을 보장할 수 있다.

3.2 Planning

Planning 은 에이전틱 워크플로우의 핵심 설계 패턴으로, 에이전트가 복잡한 작업을 자율적으로 작고, 관리 가능한 하위 작업으로 분해할 수 있게 한다.

이 기능은 위처럼 동적이고 불확실한 상황에서 다중 단계 추론과 반복적 문제 해결을 수행하는 데 필수적이다.Planning 을 통해, 에이전트는 더 큰 목표를 달성하기 위해 필요한 단계의 순서를 동적으로 결정할 수 있다.

Planning 은 강력하지만, Reflection 과 같은 결정론적 워크플로우에 비해 예측 가능성이 낮을 수 있다. Planning 은 특히, 미리 정의된 워크플로우는 부족하고, 동적인 적응이 필요한 작업에 적합하다.

3.3 Tool use

Tool use 는 그림 처럼 에이전트가 외부 도구, API 또는 계산 자원과 상호작용함으로써 자신의 능력을 확장할 수 있도록 한다.

이는 에이전트가 사전 학습된 지식을 넘어 정보를 수집하고, 계산을 수행하며, 데이터를 다룰 수 있게 해준다. 도구를 워크플로우에 동적으로 통합함으로써, 에이전트는 복잡한 작업에 적응하고 보다 정확하고 맥락에 맞는 출력을 제공할 수 있다.

Tool use 는 에이전틱 워크 플로우를 크게 향상시키지만, 특히 많은 도구가 사용 가능한 환경에서는 최적의 도구 선택에 대한 과제가 여전히 존재한다.

이 문제를 해결하기 위해, RAG 에서 영감을 받은 휴리스틱 기반 선택 등의 기법이 제안되어 왔다.

3.4 Multi-Agent

Multi-Agent 는 에이전틱 워크플로우에서 핵심적인 설계 패턴으로, 작업 전문화와 병렬 처리를 가능하게 한다.

Agents 들은 서로 소통하고 중간 결과를 공유함으로써, 전체 워크플로우가 효율적이고 일관되게 유지되도록한다. 하위작업을 특화된 에이전트들 사이에 분산함으로써, 이 패턴은 복잡한 워크플로우의 확장성과 적응성을 향상시킨다.

다중 에이전트 시스템은 개발자들이 복잡한 작업을 더 작고 관리 가능한 하위 작업으로 나누어 각기 다른 에이전트에 할당할 수 있도록 한다.

이 접근 방식은 작업 수행 능력을 향상시킬 뿐만 아니라, 복잡한 상호작용을 관리할 수 있는 견고한 프레임워크를 제공한다.

  • 각 에이전트는 고유의 메모리와 워크플로우를 가지며, 여기에는 도구 사용, Reflection , Planning 등이 포함될 수 있다.

다중 에이전트 협업은 상당한 잠재력을 지니고 있지만, Reflection 이나 도구 사용과 같은 보다 성숙한 워크플로우에 비해 예측 가능성은 낮다. 그럼에도 불구하고, AutoGen, Crew AI, LangGraph 와 같은 신흥 프레임워크들은 효과적인 다중 에이전트 솔루션을 구현할 수 있는 새로운 길을 열고 있다.

4. Agentic Workflow Patterns: Adaptive Strategies for Dynamic Collaboration

Agentic Workflow Patterns 는 LLM 기반의 applications 의 성능, 정확도, 효율성을 최적화 하기 위해서 만들어졌다.

4.1 Prompt Chaining : Enhancing Accuracy Through Sequential Processing

Prompt Chaining 은 복잡한 작업을 여러 단계로 분해하며, 각 단계는 이전 단계 위에 구축한다. 이 구조화된 접근 방식은 다음 단계로 진행하기 전에 각 하위 작업을 단순화함으로써 정확성을 향상시킨다.

  • 하지만, 순차적 처리로 인해 지연 시간이 늘어날 수 있다.

  • 사용하는 경우 : 이 워크플로우는 작업을 고정된 하위 작업으로 나눌 수 있고, 각각이 최종 결과물에 기여할 수 있을 때 가장 효과적이다. 단계별 추론이 정확성을 높이는 상황에서 유용하다.
  • 적용 사례
    • 한 언어로 마케팅 콘텐츠를 생성한 후, 뉘앙스를 유지하면서 다른 언어로 번역하는 작업
    • 문서생성을 구조화 하여 먼저 개요를 만들고, 그 완정성을 검증한 뒤 전체 본문을 작성하는 작업

4.2 Routing: Direction Inputs to Specialized Processes

Routing 은 입력을 분류한 뒤, 그것을 적절한 특화된 프롬프트나 처리 과정으로 전달하는 것을 포함한다. 이 방식은 서로 다른 질의나 작업이 개별적으로 처리되도록 보장하여, 효율성과 응답 품질을 향상시킨다.

  • 사용하는 경우 : 서로 다른 유형의 입력이 각각 다른 처리 전략을 요구하는 상황에 이상적이며, 각 범주에 대해 최적화된 성능을 보장한다.
  • 적용 사례
    • 고객 서비스 문의를 기술 지원, 환불 요청, 일반 문의와 같은 범주로 분류하는 작업
    • 간단한 질의는 비용 효율성을 위해 소형 모델로 할당하고, 복잡한 요청은 고급 모델로 보내는 작업

4.3 Parallelization: Speeding Up Processing Through Concurrent Execution

Parallelization 은 하나의 작업을 동시에 실행되는 독립적인 프로세스로 분할하여, 지연시간을 줄이고 처리량을 향상시킨다. 이는 sectioning (독립적인 하위 작업) 과 voting (정확성을 위한 다중 출력) 으로 분류될 수 있다.

  • 사용하는 경우 : 작업을 독립적으로 실행함으로써 속도를 높일 수 있거나, 다중 출력을 통해 신뢰도를 높일 수 있을 때 유용하다.
  • 적용 사례
    • Sectioning : 콘텐츠 검열과 같은 작업을 나눠서 한 모델이 입력을 필터링하고, 다른 모델이 응답을 생성하는 방식
    • Voting : 여러 모델을 사용하여 코드의 취약점을 교차 확인하거나, 콘텐츠 검열 결정을 분석하는 방식

4.4 Orchestrator-Workers: Dynamic Task Deleation

이 워크플로우는 중심이 되는 Orchestrator 모델이 작업을 동적으로 하위 작업으로 나누고, 이를 특화된 워커 모델들에게 할당한 뒤, 결과를 종합하는 구조를 특징으로 한다.

  • 병렬화와는 달리, 이 방식은 입력 복잡도의 변화에 적응할 수 있다.

  • 사용하는 경우 : 하위 작업이 미리 정의되어 있지 않고, 동적 분해와 실시간 적응이 필요한 작업에 가장 적합하다.
  • 적용 사례
    • 요청된 변경 사항의 성격에 따라 코드 베이스 내 여러 파일을 자동으로 수정하는 작업
    • 여러 출처로부터 관련 정보를 수집하고 이를 통합하여 실시간으로 리서치를 수행하는 작업

4.5 Evaluator-Optimizer: Refining Output Through Iteration

Evaluator-Optimizer 워크플로우는 초기 출력을 생성한 후, 평가 모델로 부터 받은 피드백을 바탕으로 이를 반복적으로 개선함으로써 콘텐츠를 향상 시킨다.

  • 사용할 수 있는 경우 : 반복적인 개선이 응답 품질을 크게 향상시키는 경우, 특히 명확한 평가 기준이 존재할 때 효과적이다.
  • 적용 사례
    • 문학 번역을 여러 차례 평가하고 수정하는 과정을 통해 개선하는 작업
    • 여러 차례의 반복을 통해 검색 결과를 점점 더 정교하게 다듬는 다단계 리서치 질의 수행

5. Taxonomy of Agentic RAG Systems

5.1 Single-Agent Agentic RAG: Router

단일 에이전트 기반 에이전틱 RAG 는 중앙 집중형 의사결정 시스템으로서, 단일 에이전트가 정보의 검색, 라우팅, 통합을 모두 관리한다.

이 아키텍처는 이러한 작업들을 하나의 통합된 에이전트에 통합함으로써 시스템을 단순화한다. 도구나 데이터 소스의 수가 제한적인 환경에 특히 효과적이다.

Workflow

  1. Query Submission and Evaluation

    사용자가 질의를 제출하면 과정이 시작된다. Coordination agent (or master retrieval agent) 가 질의를 수신하고, 가장 적합한 정보 출처를 결정하기 위해 이를 분석한다.

  2. Knowledge Source Selection

    질의의 유형에 따라, 조정 에이전트는 다양한 검색 옵션 중에서 선택한다.

  • Structured Databases

    표 형식의 데이터 접근이 필요한 질의의 경우, 시스템은 PostgreSQL 이나 MySQL과 같은 데이터베이스와 상호작용하는 Text-to-SQL 엔진을 사용할 수 있다.

  • Semantic Search

    비정형 정보를 처리할 때는 벡터기반 검색을 위해 관련 문서를 검색한다.

  • Web Search

    실시간 또는 광범위한 맥락 정보를 위해, 시스템은 웹 검색 도구를 활용하여 최신 온라인 데이터를 얻는다

  • Reccomendation Systems

    개인화된 또는 맥락 기반 질의의 경우, 시스템은 맞춤형 제안을 제공하는 추천 엔진을 활용한다.

  1. Data Integration and LLM Synthesis

    선택된 출처에서 관련 데이터를 검색하면, 해당 데이터는 LLM 으로 전달된다. LLM 은 수집된 정보를 종합하여, 여러 출처로부터의 통찰을 통합한 일관성 있고 맥락에 맞는 응답을 생성한다.

  2. Output Generation

    마지막으로, 시스템은 원래 질의를 해결하는 포괄적이고 사용자 중심의 응답을 제공한다.

Key Features and Advantage

  • Centralized Simplicity

    하나의 에이전트가 모든 검색 라우팅 작업을 처리하므로, 아키텍처의 설계, 구현, 유지보수가 간단하다.

  • Efficiency & Resource Optimization

    에이전트 수가 적고 조정이 단순하여, 시스템은 더 적은 계산 자원으로 더 빠르게 질의할 수 있다.

  • Dynamic Routing

    에이전트는 각 질의를 실시간으로 평가하고, 가장 적절한 지식 출처 (예: 구조화된 DB, 의미 기반 검색, 웹 검색) 을 선택한다.

  • Versatility Across Tools

    다양한 데이터 소스 및 외부 API 를 지원하여, 구조화 비구조화 워크플로우 모두를 가능하게 한다.

  • Ideal for Simpler Systems

    작업이 명확하게 정의되어 있거나 통합 요구가 제한적인 애플리케이션 (예: 문서 검색, SQL 기반 워크플로우) 에 적합하다.

5.2 Multi-Agent Agentic RAG System

Multi-Agent RAG 는 복잡한 워크플로우와 다양한 질의 유형을 처리하기 위해 여러 특화된 에이전트를 활용하는 단일 에이전트 아키텍처의 모듈화되고 확장 가능한 진화 형태이다. 이 시스템은 추론 검색, 응답 생성을 모두 단일 에이전트에 의존하는 대신, 각각 특정 역할이나 데이터 소스에 최적화된 여러 에이전트에게 책임을 분산시킨다.

Workflow

  1. Query Submission : 사용자의 질의로 과정이 시작되며, 이는 조정 에이전트 또는 마스터 검색 에이전트가 수신한다. 이 에이전트는 중앙 오케스트레이터 역할을 하며, 질의의 요구 사항에 따라 특화된 검색 에이전트에게 질의를 분배한다.

  2. Specialized Retrieval Agents : 질의는 여러 검색 에이전트에게 분산되며, 각 에이전트는 특정 유형의 데이터 소스나 작업에 집중한다.
    • Agent 1 : PostgreSQL 이나 MySQL 과 같은 SQL 기반 데이터베이스와 상호작용하는 구조화된 질의를 처리한다.
    • Agent 2 : PDF, 책 내부 기록 등에서 비정형 데이터를 검색하기 위해 의미 기반 검색을 수행한다.
    • Agent 3 : 웹 검색이나 API 를 통해 실시간 공개 정보를 검색하는 데 집중한다.
    • Agent 4 : 사용자 행동이나 프로필을 기반으로 문맥 인식 추천을 제공하는 추천 시스템에 특화되어 있다.
  3. Tool Access and Data Retrieval : 각 에이전트는 자신의 도메인 내에서 적절한 도구나 데이터 소스로 질의를 라우팅한다.
    • Vector Search : 의미 기반 연관성을 위한 도구
    • Text-to-SQL : 구조화된 데이터 용
    • Web Search : 실시간 공개 정보 확보용
    • APIs : 외부 서비스나 독점 시스템 접근용

  4. 데이터 통합 및 LLM 종합 : 검색이 완료되면 모든 에이전트로부터 수집된 데이터는 대형 언어 모델로 전달된다. LLM은 검색된 정보를 통합하여 여러 출처의 통찰을 일관성 있고 맥락에 맞게 결합한 응답을 제공한다.

  5. 출력 생성 : 시스템은 포괄적인 응답을 생성하며, 이를 실행 가능하고 간결한 형식으로 사용자에게 전달한다.

Key Features and Advantages

  • Modularity : 각 에이전트는 독립적으로 작동하여, 시스템 요구에 따라 손쉽게 추가하거나 제거할 수 있다.
  • Scalability : 여러 에이전트의 병렬 처리를 통해 고용량의 질의를 효율적으로 처리할 수 있다.
  • Task Specialization : 각 에이전트는 특정 유형의 질의 또는 데이터 소스에 최적화되어 저왁성과 검색 관련성을 높인다.
  • Efficiecy : 작업을 특화된 에이전트에 분산시킴으로써 병목 현상을 최소화 하고 복잡한 워크플로우의 성능을 향상시킨다.
  • Versatility : 연구, 분석, 의사결정, 고객 지원 등 다양한 도메인에 적합하다.

Challenges

  • Coordination Complexity : 에이전트 간 통신 및 작업 분배를 관리하려면 정교한 오케스트레이션 메커니즘이 필요하다.
  • Computational Overhead : 여러 에이전트를 병렬로 처리하면 자원 사용이 증가할 수 있다.
  • Data Integration : 다양한 출처의 출력을 일관된 응답으로 통합하는 것은 간단하지 않으며, 고급 LLM 기능이 요구된다.

5.3 Hierarchical Agentic RAG Systems

Hierarchical Agentic RAG System 은 정보 검색과 처리를 위해 구조화된 다단계 접근 방식을 채택하여, 효율성과 전략적 의사결정을 모두 향상시킨다. 에이전트들은 계층적으로 구성되어 있으며, 상위 에이전트가 하위 에이전트를 감독하고 지시한다.

이 구조는 다단계 의사결정을 가능하게 하며, 질의가 가장 적절한 자원에 의해 처리되도록 보장한다.

Workflow

  1. Query Reception : 사용자가 질의를 제출하면, 이를 최상위 에이전트가 수신하며 초기 평가 및 작업분배를 담당한다.
  2. Strategic Decision-Making : 최상위 에이전트는 질의의 복잡성을 평가하고, 어떤 하위 에이전트 또는 데이터 소스를 우선시할지 결정한다. 질의의 도메인에 따라 특정 데이터베이스, API 또는 검색 도구가 더 신뢰할 수 있거나 관련성이 높다고 판단될 수 있다.
  3. Delegation to Subordinate Agents : 최상위 에이전트는 SQL 데이터베이스, 웹 검색, 사내 시스템 등 특정 검색 방법에 특화된 하위 에이전트에게 작업을 할당한다. 이들 에이전트는 할당된 작업을 독립적으로 수행한다.
  4. Aggregation and Synlthesis : 하위 에이전트들로부터의 결과는 상위 에이전트에 의해 수집 및 통합되며, 정보는 일관성 있는 응답으로 종합된다.
  5. Response Delivery : 최종적으로 종합된 응답이 사용자에게 전달되며, 이 응답은 포괄적이고 맥락에 적합함을 보장한다.

Key Features and Advantages

  • Strategic Prioritization : 최상위 에이전트트는 질의의 복잡성, 신뢰도 또는 맥락에 따라 데이터 소스나 작업의 우선순위를 지정할 수 있다.
  • Scalability : 여러 계층의 에이전트에 작업을 분산함으로써 매우 복잡하거나 다면적인 질의를 처리할 수 있다.
  • Enhanced Decision-Making : 상위 에이전트는 전략적 감독을 수행하여 응답의 전반적인 정확성과 일관성을 향상시킨다.

Challenges

  • 조정의 복잡성 : 여러 계층에 걸친 에이전트 간의 견고한 통신을 유지하려면 오케스트레이션 비용이 증가할 수있다.
  • 자원 분배 : 병목 현상을 피하기 위해 계층 간 작업을 효율적으로 분배하는 것은 간단하지 않다.

5.4 Agentic Corrective RAG

Agentic Corrective RAG 는 검색 결과를 스스로 교정하는 메커니즘을 도입하여, 문서 활용도를 높이고 응답 생성 품질을 향상시킨다.

6. Comparative Analysis RAG Frameworks

Key Idea of Corrective RAG

교정된 RAG의 핵심 원칙은 검색된 문서를 동적으로 평가하고, 교정 작업을 수행며, 질의를 정제하여 생성된 응답의 품질을 향상시키는 능력에 있다.

  • Document Relevance Evaluation : 검색된 문서들은 관련성 평가 에이전트에 의해 관련성 여부가 평가된다. 기준 이하의 문서는 교정 단계로 넘어간다.
  • Query Refinement and Augmentation : 질의는 의미적 이해를 활용하여 검색 성능을 최적화하는 질의 정제 에이전트에 의해 정제된다.
  • Dynamic Retrieval from Exterrnal Sources : 문맥이 불충분할 경우, 외부 지식 검색 에이전트가 웹 검색을 수행하거나 대체 데이터 소스를 활용하여 문서를 보완한다.
  • Response Synthesis : 모든 검증되고 정제된 정보는 응답 종합 에이전트에 전달되어 최종 응답을 생성한다.

Key Features and Advantage

  • Iterative Correction : 관련 없거나 애매한 검색 결과를 동적으로 식별하고 교정하여 높은 응답 정확도 보장
  • Dynamic Adaptability : 실시간 웹 검색 및 질의 정제를 통해 검색 정밀도 향상
  • Agentic Modularity : 각 에이전트가 특화된 작업을 수행하여 효율적이고 확장 가능한 운영 보장
  • Ractuality Assurance : 검색 및 생성된 콘텐츠를 검증함으로써 환각이나 허위 정보 위험을 최소화

5.7 Agentic Document Workflows in Agentic RAG

Agentic Document Workflows (ADW) 는 전통적인 RAG 패러다임을 확장하여, 지식 작업의 종단 간 자동화를 가능하게 한다. 이러한 워크플로우는 복잡한 문서 중심의 프로세스를 조율하며, 문서 파싱, 검색, 추론, 구조화된 출력생성을 지능형 에이전트와 통합한다.

ADW 시스템은 상태를 유지하고, 다단계 워크플로우를 조율하며, 도메인 특화 논리를 문서에 적용함으로써 지능형 문서처리(IDP) 및 RAG 의 한계를 해결한다.

Workflow

  1. Document parsing and information structuring

    • 문서는 LlamaParse 와 같은 엔터프라이즈급 도구를 사용해 파싱되며, 청구서 번호, 날짜, 공급 업체 정보, 항목 목록, 결제 조건 등의 필드를 추출한다.
    • 추출된 구조화 데이터는 후속 처리 단계에 맞게 정리된다.

  2. State Maintenance Across Processes

    • 시스템은 문서의 문맥에 대한 상태를 유지하여, 다단계 워크플로우 전반에서 일관성과 관련성을 보장한다.
    • 문서가 여러 처리 단계를 거치는 과정을 추적한다.

  3. Knowledge Retrieval

    • 관련 참조 문서는 LlamaCloud 같은 외부 지식베이스 또는 벡터 인덱스로부터 검색된다.
    • 실시간 도메인 특화 지침을 검색하여 의사결정 품질을 높인다.

  4. Agentic Orchestration

    • 지능형 에이전트는 비즈니스 규칙을 적용하고, 다단계 추론을 수행하며, 실행 가능한 추천을 생성한다.
    • 파서, 검색기, 외부 API 등의 구성 요소를 조율하여 통합된 처리를 수행한다.
Google AdSense — Post Ad
llm
agent papers
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.

Comments powered by Disqus.