論文の概要: Unveil the Duality of Retrieval-Augmented Generation: Theoretical Analysis and Practical Solution
- arxiv url: http://arxiv.org/abs/2406.00944v1
- Date: Mon, 3 Jun 2024 02:56:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 02:37:18.837467
- Title: Unveil the Duality of Retrieval-Augmented Generation: Theoretical Analysis and Practical Solution
- Title（参考訳）: 検索機能強化ジェネレーションの二重性を明らかにする:理論的解析と実践的解法
- Authors: Shicheng Xu, Liang Pang, Huawei Shen, Xueqi Cheng,
- Abstract要約: Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。
本稿では,RAGの利益と有害性について理論的に説明するための第一歩を踏み出した。
提案手法は,トークンレベルでのLLMとRAGの協調生成を実現するための実用的手法であるX-RAGを提案する。
- 参考スコア（独自算出の注目度）: 76.75124161306795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) utilizes retrieved texts to enhance large language models (LLMs). However, studies show that RAG is not consistently effective and can even mislead LLMs due to noisy or incorrect retrieved texts. This suggests that RAG possesses a duality including both benefit and detriment. Although many existing methods attempt to address this issue, they lack a theoretical explanation for the duality in RAG. The benefit and detriment within this duality remain a black box that cannot be quantified or compared in an explainable manner. This paper takes the first step in theoretically giving the essential explanation of benefit and detriment in RAG by: (1) decoupling and formalizing them from RAG prediction, (2) approximating the gap between their values by representation similarity and (3) establishing the trade-off mechanism between them, to make them explainable, quantifiable, and comparable. We demonstrate that the distribution difference between retrieved texts and LLMs' knowledge acts as double-edged sword, bringing both benefit and detriment. We also prove that the actual effect of RAG can be predicted at token level. Based on our theory, we propose a practical novel method, X-RAG, which achieves collaborative generation between pure LLM and RAG at token level to preserve benefit and avoid detriment. Experiments in real-world tasks based on LLMs including OPT, LLaMA-2, and Mistral show the effectiveness of our method and support our theoretical results.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、検索したテキストを利用して大きな言語モデル(LLM)を強化する。
しかし、研究によると、RAGは一貫して有効ではなく、ノイズや不正な検索されたテキストのためにLLMを誤解させることもある。
これは、RAGが利益とデトリメントの両方を含む双対性を持っていることを示唆している。
多くの既存の手法がこの問題に対処しようとするが、RAGにおける双対性の理論的な説明は欠如している。
この双対性における利益と損失は、説明可能な方法で定量化または比較できないブラックボックスのままである。
本稿では,(1)RAG予測から切り離して形式化する,(2)表現の類似性による値のギャップを近似する,(3)それらの間のトレードオフ機構を確立し,それらを説明し,定量化し,同等にすることによる,RAGの利益と有害性の基本的な説明を与えるための第一歩を踏み出した。
検索したテキストとLLMの知識の分布差が両刃剣として機能し,利益と損益の両方をもたらすことを示した。
また,RAGの実際の効果がトークンレベルで予測可能であることも証明した。
提案手法は, トークンレベルでのLLMとRAGの協調生成を実現し, 利益の確保と損耗の回避を図るための, 実用的新しい手法であるX-RAGを提案する。
OPT, LLaMA-2, Mistral などの LLM に基づく実世界のタスクにおける実験は, 提案手法の有効性を示し, 理論的結果を支援する。
関連論文リスト
- Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳（メタデータ） (2024-11-01T20:44:59Z) - OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。
我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。
提案手法に基づいてLCMを最適化する方法を示す。
論文 参考訳（メタデータ） (2024-10-31T07:48:44Z) - No Free Lunch: Retrieval-Augmented Generation Undermines Fairness in LLMs, Even for Vigilant Users [21.25007065608671]
Retrieval-Augmented Generation (RAG) はその有効性とコスト効率に広く採用されている。
本研究では,フェアネスのユーザ認識の観点から,現実的な3段階の脅威モデルを提案する。
我々は,RAGの公正性について,検閲されていない,部分的に検閲された,完全に検閲されたデータセットを用いて検討した。
論文 参考訳（メタデータ） (2024-10-10T03:51:58Z) - Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。
本稿では,LLMの内部知識から必須情報を適応的に抽出する新しいRAG手法であるAstute RAGを提案する。
さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
論文 参考訳（メタデータ） (2024-10-09T17:59:58Z) - LMGT: Optimizing Exploration-Exploitation Balance in Reinforcement Learning through Language Model Guided Trade-offs [27.014415210732103]
強化学習のための新しいサンプル効率フレームワークである textbfLanguage textbfModel textbfGuided textbfTrade-offs (textbfLMGT) を紹介する。
論文 参考訳（メタデータ） (2024-09-07T07:40:43Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳（メタデータ） (2024-07-11T06:50:19Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳（メタデータ） (2024-05-23T08:33:19Z) - ARAGOG: Advanced RAG Output Grading [44.99833362998488]
Retrieval-Augmented Generation (RAG) は、外部知識をLLM(Large Language Model)出力に統合するために不可欠である。
本研究では,様々なRAG手法が検索精度および回答類似性に与える影響を評価する。
論文 参考訳（メタデータ） (2024-04-01T10:43:52Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。
本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。
グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
論文 参考訳（メタデータ） (2024-02-11T12:25:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。