論文の概要: Locally Sound, Globally Insufficient: The Local-Global Gap in Multi-Hop Reasoning

• arxiv url: http://arxiv.org/abs/2609.32496v1
• Date: Sat, 26 Sep 2026 11:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:32:19.667293
• Title: Locally Sound, Globally Insufficient: The Local-Global Gap in Multi-Hop Reasoning
• Title（参考訳）: 局所的, グローバル的に不十分: マルチホップ推論における局所的グローバルギャップ
• Abstract要約: 我々はこの障害体制をローカル・グローバル・ギャップ(LGG)と呼んでいる。 LGGはすべてのベンチマークモデルの組み合わせで発生し、全世界で不十分なレスポンスのほぼ半分を占めています。 これらの障害に対処するために、エビデンス・ツー・ステップのサポート、質問・ツー・トラス・アライメント、トレー・ツー・アンサー・クロージャという、信頼できる推論のための3つの依存関係を形式化する。
• 参考スコア（独自算出の注目度）: 10.12692380816055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable multi-hop reasoning requires more than locally supported steps: a trace can be sound at every reasoning step yet still fail to answer the question as a whole. We call this failure regime the local-global gap (LGG), in which the trace is locally sound yet globally insufficient. Local soundness requires each step to be supported by the available evidence and preceding steps, whereas global sufficiency requires the reasoning trace to align with the question and establish the submitted answer. In a human-adjudicated diagnostic of 2,598 responses across three multi-hop QA benchmarks and three models, we find that the LGG occurs in every benchmark-model combination and accounts for nearly half of globally insufficient responses overall. However, conventional faithfulness verifiers that check claims against the evidence largely miss these failures: at thresholds retaining at least 95% of reliable traces, recall for LGG cases is substantially lower than that for locally unsound traces. To address these failures, we formalize three dependencies for reliable reasoning: evidence-to-step support, question-to-trace alignment, and trace-to-answer closure. Instead of post-hoc diagnosis, we introduce E-Closure to supervise these dependencies during training, combining generation supervision on supported original and counterfactual responses with bidirectional switching constraints. Averaged over three benchmarks and three backbones, existing fine-tuning baselines improve accuracy and local soundness over the base models, but at the cost of global sufficiency. E-Closure improves both: among all fine-tuned methods, it achieves the highest average accuracy (92.8%) and trace reliability (89.0%) while yielding the lowest LGG rate (6.2%).
• Abstract（参考訳）: 信頼性の高いマルチホップ推論には、局所的にサポートされているステップ以上のステップが必要である。 我々はこの障害体制をローカル・グローバル・ギャップ (LGG) と呼び、その痕跡は局所的に聞こえるが、世界規模では不十分である。 局所的な健全性は、各ステップが利用可能な証拠と先行ステップによって支持されなければならないのに対して、グローバルな十分性は、質問と整合し、提出された回答を確立するために、推論トレースを必要とする。 3つのマルチホップQAベンチマークと3つのモデルにまたがる2,598の応答の人為的な診断において、LGGは全てのベンチマークモデルの組み合わせで発生し、全体的なグローバルに不十分な応答のほぼ半分を占めることがわかった。 しかしながら、証拠に対する主張をチェックする従来の忠実度検証は、これらの失敗をほとんど見逃している:少なくとも95%の信頼できるトレースを保持するしきい値では、LGGのケースのリコールは、局所的でないトレースのそれよりも大幅に低い。 これらの障害に対処するために、エビデンス・ツー・ステップのサポート、質問・ツー・トラス・アライメント、トレー・ツー・アンサー・クロージャという、信頼できる推論のための3つの依存関係を形式化する。 ポストホック診断の代わりに、トレーニング中にこれらの依存関係を監督するためにE-Closureを導入し、サポート対象のオリジナルおよびカウンターファクト応答の生成監督と双方向切替制約を組み合わせた。 3つのベンチマークと3つのバックボーンを平均して、既存の微調整ベースラインは、ベースモデルよりも精度と局所的な音質を改善するが、グローバルに十分である。 細調整された全ての方法の中で、最高平均精度(92.8%)とトレーサビリティ(89.0%)を達成し、最低LGGレート(6.2%)を得る。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers [15.44881677475537]
  大規模言語モデル(LLM)は、構造因果発見のための事前因果的知識を提供するために、ますます使われてきている。 我々は,6つのベンチマーク因果グラフ,5つのプロンプト戦略,4つの信頼源にまたがる12の命令調整されたオープンウェイトモデルを評価する。 以上の結果から,LSMは軟因果関係の直接的証拠であるよりも,外部から検証された軟因果関係の源であると考えられることが示唆された。
  論文  参考訳（メタデータ） (2026-08-24T15:55:47Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning [14.484579581234327]
  マルチホップ検索における拒絶の最初のベンチマークであるHopRefusalBenchを紹介する。 根、中、終端位相の3つの解答不可能な原因を横切る。 本稿では,目標認識の拒絶,疑似拒絶,幻覚的完了,探索予算の枯渇にまたがる最終アウトカム分類を提案する。
  論文  参考訳（メタデータ） (2026-08-02T16:20:55Z)
• TrAC: Trace-Conditioned Answer Consistency for Efficient Uncertainty Quantification in LLMs [5.676157325165344]
  大規模言語モデル (LLM) は、しかしながら、誤った答えにつながるような、流動的な推論トレースを生成することができる。 TrACは、ある完了した推論トレースに固定されたアクティブ信号とパッシブ信号を組み合わせた正当性管理の不確実性定量化フレームワークである。 TrACはマクロAUROCを1.8%改善し、AURCを8サンプルの自己一貫性に対して3.4%削減する。
  論文  参考訳（メタデータ） (2026-08-01T03:43:31Z)
• Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
  802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。 LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。 PROBEは3つの障害に対処する多段階パイプラインである。
  論文  参考訳（メタデータ） (2026-06-05T03:39:58Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。