論文の概要: REALHOP: Rethinking Multi-Hop Reasoning Evaluation via Behavioral Auditing

• arxiv url: http://arxiv.org/abs/2609.36984v1
• Date: Tue, 29 Sep 2026 08:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.315097
• Title: REALHOP: Rethinking Multi-Hop Reasoning Evaluation via Behavioral Auditing
• Title（参考訳）: REALHOP:行動監査によるマルチホップ推論評価の再考
• Abstract要約: 概念的にコヒーレントな連鎖と正しい最終解は、それ自体がマルチホップ推論を確立するわけではないことを示す。 本稿では、エンティティをリボンドし、選択された関係を分解し、追跡可能な場所に証拠を配置する診断・構成・検証フレームワークであるREALHOPを紹介する。
• 参考スコア（独自算出の注目度）: 5.539696241335989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex questions often require multi-hop reasoning that connects facts distributed across sources or distant regions of a long context through intermediate steps. Benchmarks commonly evaluate this ability with questions built around predefined reasoning chains, treating a correct answer as evidence that the intended composition was used. Yet answer correctness alone leaves open whether success depends on the evidence associated with each intended step: models may instead rely on memorized associations, shorter paths, or partial evidence. We examine this dependence using the Behavioral Necessity Rate (BNR), which measures how often targeted evidence removal prevents answer recovery on initially correct instances. Across five existing benchmarks, panel-mean BNR ranges from 16.6% to 48.9%, exposing a substantial gap between annotated structure and observed dependence. Guided by this diagnosis, we introduce REALHOP, a diagnose-construct-verify framework that rebinds entities, factorizes selected relations, adds complete competing paths, and places evidence at traceable locations. Structural and semantic checks precede freezing; behavioral interventions follow. On 790 paired MuSiQue questions, REALHOP raises panel-mean BNR from 27.4% to 94.4% while retaining high Full accuracy. It also yields high BNR on REALHOP-FRAMES and REALHOP-LONGBENCH. On 216 long-context questions, the matched multiple-choice spread across 16 models grows from 13.9 to 59.2 points and persists under repeated open-ended evaluation. Together, these results show that a conceptually coherent chain and a correct final answer do not by themselves establish multi-hop reasoning. Verifying that success depends on every intended hop is therefore as fundamental to multi-hop evaluation as measuring answer accuracy itself.
• Abstract（参考訳）: 複雑な質問は、しばしば、中間ステップを通じて長いコンテキストのソースや遠く離れた領域に分散した事実を接続するマルチホップ推論を必要とする。 ベンチマークは、あらかじめ定義された推論チェーンを中心に構築された質問でこの能力を評価し、正しい答えを意図された構成が使われた証拠として扱う。 しかし、答えの正しさは、成功がそれぞれの意図されたステップに関連するエビデンスに依存するかどうかだけは明らかである:モデルは代わりに記憶されたアソシエーション、短いパス、または部分的なエビデンスに依存するかもしれない。 対象とする証拠の除去頻度を計測する行動必要率 (BNR) を用いて, この依存性を検証し, 初期正解例における解答の回復を阻止する。 既存の5つのベンチマークで、パネル平均のBNRは16.6%から48.9%の範囲であり、注釈付き構造と観察された依存の間にかなりのギャップが生じる。 この診断でガイドされたREALHOPは、エンティティを再結合し、選択された関係を分解し、完全な競合パスを追加し、追跡可能な場所に証拠を配置する、診断・構成・検証フレームワークである。 構造チェックと意味チェックは凍結前に行われ、行動介入が続く。 790 対の MuSiQue 質問では、REALHOP はパネル平均 BNR を 27.4% から 94.4% に引き上げ、高い完全精度を維持している。 また、REALHOP-FRAMESやREALHOP-LONGBENCHでも高いBNRが得られる。 216の長文質問では、16モデルにまたがるマッチした多重選択が13.9点から59.2点に増加し、繰り返しオープンエンド評価の下で継続する。 これらの結果は、概念的にコヒーレントな連鎖と正しい最終解は、それ自体がマルチホップ推論を確立するわけではないことを示している。 したがって、成功がすべての意図されたホップに依存することを検証することは、答えの正確さを計測することとして、マルチホップ評価の基礎となる。

関連論文リスト

• Evidence-Inference Reconstruction: When The Evidence Is Recalled But The Reasoning Goes Wrong [46.421744167883986]
  本稿では、構造化状態を用いて1つの検索軌跡を案内するEvidence-Inference Reconstruction (EIR)を紹介する。 EIRは、たとえ誤った証拠が混ざったとしても、単一の最終モデルコールで正しい答えを生成することができる。 また, エージェントSSRでは35.29, 反射では12.41に対して, EIRは平均4.85回, モデルコール数は35.29回であった。
  論文  参考訳（メタデータ） (2026-09-27T17:20:41Z)
• Are Stated Reasoning Steps Causally Load-Bearing? [0.0]
  CoT(Chain-of- Thought)モニタリングは、モデルが書き込む推論は、その解を直接生成する計算を反映していると仮定する。 本手法は,活性化レベル,特に自己生成的推論に基づいて,忠実度を因果的に測定することを目的としている。
  論文  参考訳（メタデータ） (2026-09-22T20:34:26Z)
• Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents [72.19038675107662]
  ミスターL(Mr. L)は、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。 各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
  論文  参考訳（メタデータ） (2026-09-10T09:47:44Z)
• Recursive Agentic Reasoning [4.7490116928645065]
  反復精製、分解、繰り返しサンプリングといったテスト時間推論手法は、しばしば分離して評価される。 エージェントの推論トレース上の再帰演算子として,これらの手法の統一ビューを導入する。 同一のプロンプト、トークン予算、グレーディングコードを持つ共有ハーネスの下で、3つの演算子全てをシングルパスチェーン・オブ・ソートベースラインに対して評価する。
  論文  参考訳（メタデータ） (2026-08-25T01:34:08Z)
• HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning [14.484579581234327]
  マルチホップ検索における拒絶の最初のベンチマークであるHopRefusalBenchを紹介する。 根、中、終端位相の3つの解答不可能な原因を横切る。 本稿では,目標認識の拒絶,疑似拒絶,幻覚的完了,探索予算の枯渇にまたがる最終アウトカム分類を提案する。
  論文  参考訳（メタデータ） (2026-08-02T16:20:55Z)
• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes [39.61443457073034]
  EviNote-RAGは検索ノート・アンサーのワークフローに従うフレームワークである。 生の外部情報を直接推論する代わりに、モデルが最初にサポート・エビデンス・ノートを生成する。 EviNote-RAGは最先端のパフォーマンスを実現し、回答の正確性、トレーニングの安定性、堅牢性、効率性を向上する。
  論文  参考訳（メタデータ） (2025-08-31T14:44:45Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。