論文の概要: Knowledge Integration Decay in Search-Augmented Reasoning of Large Language Models

• arxiv url: http://arxiv.org/abs/2602.09517v1
• Date: Tue, 10 Feb 2026 08:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.445503
• Title: Knowledge Integration Decay in Search-Augmented Reasoning of Large Language Models
• Title（参考訳）: 大規模言語モデルの検索強化推論における知識統合の低下
• Authors: Sangwon Yu, Ik-hwan Kim, Donghun Kang, Bongkyu Hwang, Junhwa Choi, Suk-hoon Jung, Seungki Hong, Taehee Lee, Sungroh Yoon,
• Abstract要約: 本研究では,知識利用の安定化を目的とした,学習不要な推論時間戦略であるSelf-Anchored Knowledge Integration (SAKE)を提案する。 SAKEはKnowledge Decay(KID)を大幅に軽減し、パフォーマンスを改善し、エージェントLLMにおける知識統合のための軽量で効果的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 36.1675867877378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Large Language Models (LLMs) have demonstrated remarkable capabilities in complex tasks by employing search-augmented reasoning to incorporate external knowledge into long chains of thought. However, we identify a critical yet underexplored bottleneck in this paradigm, termed Knowledge Integration Decay (KID). Specifically, we observe that as the length of reasoning generated before search grows, models increasingly fail to integrate retrieved evidence into subsequent reasoning steps, limiting performance even when relevant information is available. To address this, we propose Self-Anchored Knowledge Encoding (SAKE), a training-free inference-time strategy designed to stabilize knowledge utilization. By anchoring retrieved knowledge at both the beginning and end of the reasoning process, SAKE prevents it from being overshadowed by prior context, thereby preserving its semantic integrity. Extensive experiments on multi-hop QA and complex reasoning benchmarks demonstrate that SAKE significantly mitigates KID and improves performance, offering a lightweight yet effective solution for knowledge integration in agentic LLMs.
• Abstract（参考訳）: 現代大規模言語モデル (LLM) は、検索強化推論を用いて、外的知識を長い思考の連鎖に組み込むことで、複雑なタスクにおいて顕著な能力を示した。 しかし,このパラダイムでは,Knowledge Integration Decay (KID) と呼ばれる重要なボトルネックが発見されている。 具体的には,検索に先立って生成される推論の長さが大きくなるにつれて,検索された証拠をその後の推論ステップに組み込むことが難しくなり,関連する情報が得られても性能が制限されることを観察する。 そこで本研究では,知識利用の安定化を目的とした,学習不要な推論時間戦略である自己組織化知識符号化(SAKE)を提案する。 SAKEは、検索した知識を推論プロセスの開始と終了の両方に固定することにより、事前のコンテキストによって隠蔽されることを防ぎ、セマンティックな整合性を維持する。 マルチホップQAおよび複雑な推論ベンチマークに関する大規模な実験は、SAKEがKIDを著しく軽減し、性能を向上し、エージェントLLMにおける知識統合のための軽量で効果的なソリューションを提供することを示した。

関連論文リスト

• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• Hindsight Distillation Reasoning with Knowledge Encouragement Preference for Knowledge-based Visual Question Answering [55.368681418311894]
  既存の知識に基づくビジュアル質問回答 (KBVQA) 手法は、マルチモーダルな大規模言語モデル (MLLM) における暗黙的な知識をコンテキスト内学習または検索拡張生成による明示的な知識を介して利用する。 KEPO(Knowledge Encouragement Preference Optimization)を用いたHindsight Distilled Reasoning(HinD)フレームワークを提供する。 OK-VQAとA-OKVQAの実験によりHinDの有効性が検証され、7BサイズのMLLMから推論したHinDが商用モデルAPIや外部知識を使わずに優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-14T10:03:23Z)
• Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
  大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。 提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。 提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-09-17T04:28:07Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• When to Speak, When to Abstain: Contrastive Decoding with Abstention [12.639085523137998]
  大規模言語モデル(LLM)は、事前訓練された(パラメトリック)知識と外部(文脈)知識を活用することで、様々なタスクにまたがる例外的なパフォーマンスを示す。 本稿では,LLMが関連する知識が利用可能であれば応答を生成でき,それ以外は無視できる新しい学習自由復号法であるContrastive Decoding with Abstentionを提案する。
  論文  参考訳（メタデータ） (2024-12-17T04:38:08Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。