論文の概要: Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding
- arxiv url: http://arxiv.org/abs/2509.21865v1
- Date: Fri, 26 Sep 2025 04:40:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.184493
- Title: Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding
- Title（参考訳）: RAG vs. ロングコンテキストを超えて: 効率的な知識基盤の抽出学習
- Authors: Seong-Woong Shim, Myunsoo Kim, Jae Hyeon Cho, Byung-Jun Lee,
- Abstract要約: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) を外部の最新の情報に基盤付けるためのフレームワークである。
本稿では,適応型検索システムLDAR(Learning Distraction-Aware Retrieval)を提案する。
- 参考スコア（独自算出の注目度）: 5.353135097018941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) is a framework for grounding Large Language Models (LLMs) in external, up-to-date information. However, recent advancements in context window size allow LLMs to process inputs of up to 128K tokens or more, offering an alternative strategy: supplying the full document context directly to the model, rather than relying on RAG to retrieve a subset of contexts. Nevertheless, this emerging alternative strategy has notable limitations: (i) it is token-inefficient to handle large and potentially redundant contexts; (ii) it exacerbates the `lost in the middle' phenomenon; and (iii) under limited model capacity, it amplifies distraction, ultimately degrading LLM output quality. In this paper, we propose LDAR (Learning Distraction-Aware Retrieval), an adaptive retriever that learns to retrieve contexts in a way that mitigates interference from distracting passages, thereby achieving significantly higher performance with reduced token usage compared to long-context approaches. Extensive experiments across diverse LLM architectures and six knowledge-intensive benchmarks demonstrate the effectiveness and robustness of our approach, highlighting the importance of balancing the trade-off between information coverage and distraction.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) を外部の最新の情報に基盤付けるためのフレームワークである。
しかし、最近のコンテキストウィンドウサイズの進歩により、LLMは最大128Kのトークンの入力を処理することができ、代替戦略を提供する: コンテキストのサブセットを取得するためにRAGに頼るのではなく、完全なドキュメントコンテキストを直接モデルに供給する。
しかし、この新たな戦略には、注目すべき制限がある。
i) 大きな、潜在的に冗長なコンテキストを扱うのがトークン非効率である。
(二)「中間の失われた」現象を悪化させ、
3) モデル容量の制限下では、乱れを増幅し、最終的にLLMの出力品質を劣化させる。
本稿では,長いコンテキストアプローチに比べてトークン使用率の低下が著しく向上し,邪魔な経路からの干渉を軽減し,コンテキストの検索を学習する適応型検索システムLDARを提案する。
多様なLLMアーキテクチャと6つの知識集約型ベンチマークにわたる大規模な実験は、我々のアプローチの有効性と堅牢性を示し、情報カバレッジと注意散らしのトレードオフのバランスをとることの重要性を強調している。
関連論文リスト
- Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。
モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文 参考訳（メタデータ） (2025-09-26T14:39:13Z) - GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳（メタデータ） (2025-09-20T02:38:00Z) - REFRAG: Rethinking RAG based Decoding [67.4862300145604]
REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。
本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
論文 参考訳（メタデータ） (2025-09-01T03:31:44Z) - RADIANT: Retrieval AugmenteD entIty-context AligNmenT -- Introducing RAG-ability and Entity-Context Divergence [18.268335797537983]
Retrieval-Augmented Generation (RAG) は、外部知識を生成プロセスに統合することにより、事実の精度を高める技術である。
本稿では,得られた証拠と生成されたコンテンツとの相互作用を最適化するために,RAGとアライメントを組み合わせたフレームワークであるRadiantを紹介する。
論文 参考訳（メタデータ） (2025-06-28T21:40:35Z) - Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳（メタデータ） (2025-06-11T12:03:52Z) - Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation [0.0]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張のための変換アプローチとなっている。
本研究では,RAGシステムの最適化における有効性と効率性を評価するため,遅延チャンキングと文脈検索の厳密な分析を行った。
この結果から,文脈検索は意味的コヒーレンスをより効果的に保存するが,計算資源が大きいことが示唆された。
論文 参考訳（メタデータ） (2025-04-28T12:52:05Z) - Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。
これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。
オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
論文 参考訳（メタデータ） (2024-11-25T06:48:38Z) - Reducing Distraction in Long-Context Language Models by Focused Learning [6.803882766744194]
本稿では,大規模言語モデルの関連情報を識別する能力を高める新しい学習手法を提案する。
長いコンテキストで微調整を行う際、最も関連性の高いセグメントを抽出するために検索器を用いる。
次に、元のコンテキストと検索したサブコンテキストからの出力が密接に一致していることを明確にするために、補助的なコントラスト学習対象を導入する。
論文 参考訳（メタデータ） (2024-11-08T19:27:42Z) - Rethinking Visual Dependency in Long-Context Reasoning for Large Vision-Language Models [62.698520962933195]
LVLM(Large Vision-Language Models)は、クロスモデルタスクでは優れているが、長文推論ではパフォーマンスが低下する。
そこで本研究では,重要でないテキスト情報を選択的に除去する,学習不要なコンテキストプルーニング手法を提案する。
論文 参考訳（メタデータ） (2024-10-25T17:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。