論文の概要: Where and Why Search-Augmented LLMs Fail When Reasoning over Rapidly Evolving Knowledge

• arxiv url: http://arxiv.org/abs/2610.25323v1
• Date: Sun, 18 Oct 2026 15:09:08 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 21:59:54.148478
• Title: Where and Why Search-Augmented LLMs Fail When Reasoning over Rapidly Evolving Knowledge
• Title（参考訳）: 知識の急激な進化でLLMが失敗する理由と理由
• Abstract要約: 古い記録がオンラインのままである間に、新しい情報が発行される。これは、大きな言語モデルに対する推論が複雑である。 既存の評価では、情報の検索をブラックボックスとして扱い、LLMが失敗する場所と理由をほとんど明らかにしていない。 TREKTRACEは,検索と推論の特定の段階に障害を原因付けるプラグイン・アンド・プレイのフレームワークである。
• 参考スコア（独自算出の注目度）: 10.225882892596092
• License:
• Abstract: As the world changes, new information is published while older records remain online. This complicates reasoning for large language models (LLMs), which must retrieve evidence and resolve conflicts to determine which information remains valid. Existing evaluations treat information seeking as a black box, revealing little about where and why LLMs fail. To address this gap, we introduce TREK, a suite of three components: TREKTRACE is a plug-and-play framework that attributes failures to specific stages of retrieval and reasoning. We apply it to TREKBENCH-WILD, a meta-benchmark of real-world questions that require complex reasoning over rapidly evolving knowledge. Surprisingly, the main bottleneck is post-retrieval reasoning rather than retrieval: frontier models are often misled by conflicting evidence even after retrieving all the information needed to answer. To study this bottleneck, we build TREKBENCH-CTRL, a controlled benchmark with distractors spanning temporality, relevance, and trustworthiness, and show that benchmarks dominated by outdated distractors substantially underestimate task difficulty. Together, TREK provides a testbed for diagnosing and improving reasoning over rapidly evolving knowledge.
• Abstract（参考訳）: 世界が変わるにつれて、古い記録がオンラインに残る間、新しい情報が発行される。 これは大きな言語モデル(LLM)の推論を複雑にし、証拠を回収し、どの情報が有効かを決定するために競合を解決する必要がある。 既存の評価では、情報の検索をブラックボックスとして扱い、LLMが失敗する場所と理由をほとんど明らかにしていない。 このギャップに対処するために、TREKは3つのコンポーネントからなるスイートであるTREKTRACEを紹介します。 我々は、急速に進化する知識に対して複雑な推論を必要とする現実世界の質問のメタベンチマークであるTREKBENCH-WILDに適用する。 驚いたことに、主なボトルネックは検索ではなく検索後の推論である。フロンティアモデルは、答えに必要なすべての情報を取得した後でも、矛盾する証拠によって誤解されることが多い。 このボトルネックを調査するために、時間性、妥当性、信頼性にまたがるトラクタを制御したベンチマークであるTREKBENCH-CTRLを構築し、時代遅れのトラクタが支配するベンチマークがタスクの難しさを著しく過小評価していることを示す。 TREKは、急速に進化する知識に対する推論の診断と改善のためのテストベッドを提供する。

関連論文リスト

• Foresight-over-Graph: Reasoning Beyond Local Horizons for Knowledge Base Question Answering [61.41039067700017]
  本稿では,知識ベース質問応答(KBQA)のためのフォレスト・オーバー・グラフ(FoG)を提案する。 FoGは、質問関連エビデンスを反復的に構築し、経路探索のガイドとして遠方からのフィードバックを使用する。 KBQAベンチマークの実験は、FoGが最先端のパフォーマンスを達成し、特にCWQで16.58%向上したことを示している。
  論文  参考訳（メタデータ） (2026-10-06T14:07:43Z)
• METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models [61.33372454250959]
  コンテキスト因果推論は、大規模言語モデルにとって重要なが難しい能力である。 既存のベンチマークでは、コンテキスト整合性を保証するか、完全な因果階層をカバーすることができない。 私たちはMETERの先駆者であり、因果はしごの3つのレベルすべてにわたってLSMを体系的にベンチマークしました。
  論文  参考訳（メタデータ） (2026-04-13T14:07:11Z)
• SenTSR-Bench: Thinking with Injected Knowledge for Time-Series Reasoning [27.91435057369479]
  大きな推論モデル(GRLM)は、強い推論スキルを持っているが、複雑な時系列パターンを理解するためのドメイン固有の知識は欠如している。 本稿では,TSLM生成した知見を直接GRLMの推論トレースに注入するハイブリッドな知識注入フレームワークを提案する。 SenTSR-Benchや他の公開データセット全体で、我々の方法はTSLMを9.1%-26.1%、GRLMを7.9%-22.4%上回る。
  論文  参考訳（メタデータ） (2026-02-23T02:55:32Z)
• Knowledge Integration Decay in Search-Augmented Reasoning of Large Language Models [36.1675867877378]
  本研究では,知識利用の安定化を目的とした,学習不要な推論時間戦略であるSelf-Anchored Knowledge Integration (SAKE)を提案する。 SAKEはKnowledge Decay(KID)を大幅に軽減し、パフォーマンスを改善し、エージェントLLMにおける知識統合のための軽量で効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-02-10T08:20:26Z)
• Tracking the Limits of Knowledge Propagation: How LLMs Fail at Multi-Step Reasoning with Conflicting Knowledge [26.769199929372956]
  TRACK(Testing Reasoning Amid Conflicting Knowledge)は、LLMがマルチステップ推論によって新しい知識をどのように伝播するかを研究するための新しいベンチマークである。 この結果から,モデルに更新事実を付与するよりも,モデルに更新事実を付与する方が性能を悪化させる可能性が示唆された。 この失敗は、更新された事実を忠実に統合できないことと、知識が統合されたとしても推論に欠陥があることから生じることを示している。
  論文  参考訳（メタデータ） (2026-01-21T21:56:35Z)
• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• Question Answering under Temporal Conflict: Evaluating and Organizing Evolving Knowledge with LLMs [0.0]
  大規模言語モデル(LLM)は、質問応答と推論において顕著な能力を示す。 この知識を更新するには、通常、高価で不安定な再トレーニングが必要です。 本稿では、ソース文書から構造化された外部メモリを段階的に構築する軽量なエージェント型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T20:13:33Z)
• KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing [64.38243807002878]
  我々は、大規模言語モデルにおけるコンテキスト過負荷を軽減するためのエレガントなRAGフレームワークであるKnowTraceを紹介する。 KnowTraceは、必要な知識三つ子を自律的に追跡して、入力された質問に関連する特定の知識グラフを整理する。 3つのマルチホップ質問応答ベンチマークで、既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-26T17:22:20Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。