論文の概要: Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models
- arxiv url: http://arxiv.org/abs/2410.07176v1
- Date: Wed, 9 Oct 2024 17:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 21:46:48.780948
- Title: Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models
- Title（参考訳）: Astute RAG:大規模言語モデルにおける不完全検索強化と知識紛争の克服
- Authors: Fei Wang, Xingchen Wan, Ruoxi Sun, Jiefeng Chen, Sercan Ö. Arık,
- Abstract要約: 現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。
本稿では,LLMの内部知識から必須情報を適応的に抽出する新しいRAG手法であるAstute RAGを提案する。
さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
- 参考スコア（独自算出の注目度）: 20.605487145370752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG), while effective in integrating external knowledge to address the limitations of large language models (LLMs), can be undermined by imperfect retrieval, which may introduce irrelevant, misleading, or even malicious information. Despite its importance, previous studies have rarely explored the behavior of RAG through joint analysis on how errors from imperfect retrieval attribute and propagate, and how potential conflicts arise between the LLMs' internal knowledge and external sources. We find that imperfect retrieval augmentation might be inevitable and quite harmful, through controlled analysis under realistic conditions. We identify the knowledge conflicts between LLM-internal and external knowledge from retrieval as a bottleneck to overcome in the post-retrieval stage of RAG. To render LLMs resilient to imperfect retrieval, we propose Astute RAG, a novel RAG approach that adaptively elicits essential information from LLMs' internal knowledge, iteratively consolidates internal and external knowledge with source-awareness, and finalizes the answer according to information reliability. Our experiments using Gemini and Claude demonstrate that Astute RAG significantly outperforms previous robustness-enhanced RAG methods. Notably, Astute RAG is the only approach that matches or exceeds the performance of LLMs without RAG under worst-case scenarios. Further analysis reveals that Astute RAG effectively resolves knowledge conflicts, improving the reliability and trustworthiness of RAG systems.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大きな言語モデル(LLM)の限界に対処するために外部知識を統合するのに効果的であるが、不適切な検索によって損なわれる可能性がある。
その重要性にもかかわらず、従来の研究では、不完全な検索属性の誤りや伝播の仕方、LLMの内部知識と外部情報源の間の潜在的な衝突の発生について、共同分析を通じてRAGの挙動を調査することはめったにない。
現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。
我々は、検索からLLM内部知識と外部知識の相違をRAGの検索後の段階において克服するボトルネックとして認識する。
本研究では,LLMの内部知識から必須情報を適応的に引き出す新しいRAG手法であるAstute RAGを提案する。
Gemini と Claude を用いた実験により,Astute RAG が従来のロバスト性向上 RAG 法より有意に優れていることが示された。
特にAstute RAGは、最悪のシナリオでRAGを使わずにLLMのパフォーマンスにマッチまたは超過する唯一のアプローチである。
さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
関連論文リスト
- Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective [48.40768048080928]
Retrieval-Augmented Generation (RAG) システムは,Large Language Models (LLM) の性能向上を約束している。
本研究の目的は,RAGシステムにおける知識チェックに関する体系的研究を提供することである。
論文 参考訳（メタデータ） (2024-11-21T20:39:13Z) - Retrieving, Rethinking and Revising: The Chain-of-Verification Can Improve Retrieval Augmented Generation [38.80878966092216]
大規模言語モデル(LLM)の強化を目的とした最近の検索拡張生成(RAG)
本稿では,外部検索の正しさと内部生成の整合性を高めるためのチェーン・オブ・バリフィケーション(CoV-RAG)を提案する。
論文 参考訳（メタデータ） (2024-10-08T08:34:54Z) - Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。
本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2024-09-16T09:06:44Z) - Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation [11.471919529192048]
LLM(Large Language Models)は、コヒーレントで文脈的に関係のあるテキストを生成するのに熟練した言語モデルである。
Retrieval-augmented Generation (RAG) システムは、構造化知識グラフ(KG)のような外部知識ソースを組み込むことによってこれを緩和する。
本研究は,既存のKG法に基づくRAG法における誤りパターンの解析と8つの臨界故障点の同定により,このジレンマについて検討した。
論文 参考訳（メタデータ） (2024-07-16T23:50:07Z) - A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。
本稿では,RAGの利益と有害性を説明するための理論を提供する。
提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-03T02:56:14Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳（メタデータ） (2024-05-10T02:48:45Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA)
我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。
オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-02-27T13:22:51Z) - ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。
既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。
人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
論文 参考訳（メタデータ） (2024-02-21T06:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。