論文の概要: The Distracting Effect: Understanding Irrelevant Passages in RAG

• arxiv url: http://arxiv.org/abs/2505.06914v1
• Date: Sun, 11 May 2025 09:25:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.109633
• Title: The Distracting Effect: Understanding Irrelevant Passages in RAG
• Title（参考訳）: 難読化効果:RAGにおける無関係パスの理解
• Authors: Chen Amiraz, Florin Cuconasu, Simone Filice, Zohar Karnin,
• Abstract要約: 我々は、RAGシステムを改善するために、ハードトラベリングパスを特定し、使用します。 従来のRAGデータセットで微調整されたものに比べて解答精度は最大で7.5%向上する。 コントリビューションは2つある: まず、無関係な通路の単純な二分分類を超えて、完全に無関係な通路と気晴らしのどちらか、そして第二に、困難に気晴らしする通路を見つけるための複数の方法を開発し、分析する。
• 参考スコア（独自算出の注目度）: 8.882885336338205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A well-known issue with Retrieval Augmented Generation (RAG) is that retrieved passages that are irrelevant to the query sometimes distract the answer-generating LLM, causing it to provide an incorrect response. In this paper, we shed light on this core issue and formulate the distracting effect of a passage w.r.t. a query (and an LLM). We provide a quantifiable measure of the distracting effect of a passage and demonstrate its robustness across LLMs. Our research introduces novel methods for identifying and using hard distracting passages to improve RAG systems. By fine-tuning LLMs with these carefully selected distracting passages, we achieve up to a 7.5% increase in answering accuracy compared to counterparts fine-tuned on conventional RAG datasets. Our contribution is two-fold: first, we move beyond the simple binary classification of irrelevant passages as either completely unrelated vs. distracting, and second, we develop and analyze multiple methods for finding hard distracting passages. To our knowledge, no other research has provided such a comprehensive framework for identifying and utilizing hard distracting passages.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG) のよく知られた問題は、クエリに無関係な検索されたパスが、答えを生成するLCMを混乱させ、誤った応答をもたらすことがあることである。 本稿では,この中核問題に光を当て,問合せ(およびLLM)の気を散らす効果を定式化する。 通路の分散効果を定量的に測定し,LLM間のロバスト性を示す。 本研究は,RAGシステムを改善するために,難読化経路を同定し,利用するための新しい手法を提案する。 注意深い選択を施したLSMの微調整により,従来のRAGデータセットよりも解答精度が最大で7.5%向上した。 コントリビューションは2つある: まず、無関係な通路の単純な二分分類を超えて、完全に無関係な通路と気晴らしのどちらか、そして第二に、困難に気晴らしする通路を見つけるための複数の方法を開発し、分析する。 我々の知る限りでは、難しい気を散らす通路を識別し活用するための包括的枠組みを提供する研究は他にない。

関連論文リスト

• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
  本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。 SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。 近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• U-NIAH: Unified RAG and LLM Evaluation for Long Context Needle-In-A-Haystack [9.760456105567078]
  本稿では,Large Language Models(LLM)とRetrieval-Augmented Generation(RAG)を体系的に比較する統一フレームワークであるU-NIAHを紹介する。 本フレームワークでは,複数のニードル,長いニードル,ニードルの設定を,異なる検索設定とともに組み込んでいる。 以上の結果から,RAGはロスト・イン・ザ・ミドル効果を緩和し,ロバスト性を向上させることにより,より小さなLCMを著しく向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-01T05:05:24Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models [11.716595438057997]
  オープンドメイン質問応答(PSPT)における再ランク付けのためのパス固有プロンプトチューニングを提案する。 PSPTは、学習可能なパス固有のソフトプロンプトを微調整するパラメータ効率の手法である。 我々は,Llama-2-chat-7Bモデルを用いた3つの公開領域質問応答データセットの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T07:43:42Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• Evidentiality-aware Retrieval for Overcoming Abstractiveness in Open-Domain Question Answering [29.00167886463793]
  本稿では, 証拠パスを注意散逸者から識別するためのEADPR (Evidentiality-Aware Passage Retrieval) を提案する。 提案手法が複数の抽象型ODQAタスクにおいて有効であることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-04-06T12:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。