論文の概要: Unveil the Duality of Retrieval-Augmented Generation: Theoretical Analysis and Practical Solution
- arxiv url: http://arxiv.org/abs/2406.00944v1
- Date: Mon, 3 Jun 2024 02:56:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 02:37:18.837467
- Title: Unveil the Duality of Retrieval-Augmented Generation: Theoretical Analysis and Practical Solution
- Title(参考訳): 検索機能強化ジェネレーションの二重性を明らかにする:理論的解析と実践的解法
- Authors: Shicheng Xu, Liang Pang, Huawei Shen, Xueqi Cheng,
- Abstract要約: Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。
本稿では,RAGの利益と有害性について理論的に説明するための第一歩を踏み出した。
提案手法は,トークンレベルでのLLMとRAGの協調生成を実現するための実用的手法であるX-RAGを提案する。
- 参考スコア(独自算出の注目度): 76.75124161306795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) utilizes retrieved texts to enhance large language models (LLMs). However, studies show that RAG is not consistently effective and can even mislead LLMs due to noisy or incorrect retrieved texts. This suggests that RAG possesses a duality including both benefit and detriment. Although many existing methods attempt to address this issue, they lack a theoretical explanation for the duality in RAG. The benefit and detriment within this duality remain a black box that cannot be quantified or compared in an explainable manner. This paper takes the first step in theoretically giving the essential explanation of benefit and detriment in RAG by: (1) decoupling and formalizing them from RAG prediction, (2) approximating the gap between their values by representation similarity and (3) establishing the trade-off mechanism between them, to make them explainable, quantifiable, and comparable. We demonstrate that the distribution difference between retrieved texts and LLMs' knowledge acts as double-edged sword, bringing both benefit and detriment. We also prove that the actual effect of RAG can be predicted at token level. Based on our theory, we propose a practical novel method, X-RAG, which achieves collaborative generation between pure LLM and RAG at token level to preserve benefit and avoid detriment. Experiments in real-world tasks based on LLMs including OPT, LLaMA-2, and Mistral show the effectiveness of our method and support our theoretical results.
- Abstract(参考訳): Retrieval-augmented Generation (RAG) は、検索したテキストを利用して大きな言語モデル(LLM)を強化する。
しかし、研究によると、RAGは一貫して有効ではなく、ノイズや不正な検索されたテキストのためにLLMを誤解させることもある。
これは、RAGが利益とデトリメントの両方を含む双対性を持っていることを示唆している。
多くの既存の手法がこの問題に対処しようとするが、RAGにおける双対性の理論的な説明は欠如している。
この双対性における利益と損失は、説明可能な方法で定量化または比較できないブラックボックスのままである。
本稿では,(1)RAG予測から切り離して形式化する,(2)表現の類似性による値のギャップを近似する,(3)それらの間のトレードオフ機構を確立し,それらを説明し,定量化し,同等にすることによる,RAGの利益と有害性の基本的な説明を与えるための第一歩を踏み出した。
検索したテキストとLLMの知識の分布差が両刃剣として機能し,利益と損益の両方をもたらすことを示した。
また,RAGの実際の効果がトークンレベルで予測可能であることも証明した。
提案手法は, トークンレベルでのLLMとRAGの協調生成を実現し, 利益の確保と損耗の回避を図るための, 実用的新しい手法であるX-RAGを提案する。
OPT, LLaMA-2, Mistral などの LLM に基づく実世界のタスクにおける実験は, 提案手法の有効性を示し, 理論的結果を支援する。
関連論文リスト
- Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
帰属的有理は帰属的有理数よりも人称有理数とよく一致していることを示す。
さらに,従来の研究で特定されたプロンプトベース手法の忠実度制限は,その崩壊予測と関係があることが示唆された。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Quantifying Emergence in Large Language Models [31.608080868988825]
LLMの出現を推定するための定量化ソリューションを提案する。
分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。
本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
論文 参考訳(メタデータ) (2024-05-21T09:12:20Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-03T12:35:29Z) - The Effect of Scaling, Retrieval Augmentation and Form on the Factual
Consistency of Language Models [7.2022332882214695]
大規模言語モデル(LLM)は、事実知識に対する自然なインタフェースを作るが、その有用性は意味論的に等価な質問に対して一貫性のない回答を提供する傾向によって制限される。
不整合の潜在的な原因を特定し、検索コーパスを用いてLMのスケールアップと拡張という2つの緩和戦略の有効性を評価する。
論文 参考訳(メタデータ) (2023-11-02T15:20:11Z) - Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity [88.62935593360162]
大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。
本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。
OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
論文 参考訳(メタデータ) (2023-10-08T14:22:58Z) - Decoding In-Context Learning: Neuroscience-inspired Analysis of
Representations in Large Language Models [5.062236259068678]
In-context Learning (ICL) による大規模言語モデル(LLM)の性能向上について検討する。
本稿では,Llama-270BとVicuna 13Bのパラメータ化探索と,関連する情報と無関係情報に対する注意度の測定方法を提案する。
ICL後の行動改善とLLM層間の埋め込みと注意重みの変化との間に有意な相関が認められた。
論文 参考訳(メタデータ) (2023-09-30T09:01:35Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - On Language Model Integration for RNN Transducer based Speech
Recognition [49.84285563767935]
共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。
ILM補正による性能改善の2つの主な理由を復号化解釈する。
また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:30:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。