論文の概要: HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning

• arxiv url: http://arxiv.org/abs/2608.01358v1
• Date: Sun, 02 Aug 2026 16:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.17498
• Title: HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning
• Title（参考訳）: HopRefusalBench:マルチホップ推論のための検索増強剤の欠陥診断
• Abstract要約: マルチホップ検索における拒絶の最初のベンチマークであるHopRefusalBenchを紹介する。 根、中、終端位相の3つの解答不可能な原因を横切る。 本稿では,目標認識の拒絶,疑似拒絶,幻覚的完了,探索予算の枯渇にまたがる最終アウトカム分類を提案する。
• 参考スコア（独自算出の注目度）: 14.484579581234327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search-augmented large language model agents are increasingly capable of solving knowledge-intensive tasks, but their behavior when a multi-hop question is fundamentally unanswerable remains poorly understood. Existing abstention benchmarks largely expose defects at the surface of single-hop queries and therefore cannot reveal failures that emerge only after valid intermediate reasoning and retrieval. We introduce HopRefusalBench, the first controlled benchmark of refusal within multi-hop search, comprising 889 unanswerable questions constructed from KILT-grounded entity paths. It crosses three causes of unanswerability (answer unknown, false premise, and underspecified context) with root, middle, and terminal topologies, making premise verification, intermediate-bridge validation, and terminal stopping separately observable. We further propose a final-outcome taxonomy spanning target-aware refusal, pseudo-refusal, hallucinated completion, and search-budget exhaustion, together with source-aware trajectory metrics for post-trigger continuation and token waste. Across ten frontier proprietary and open-weight models in search-augmented mode, the best model achieves a target-aware correct halting rate (TCHR) of only 42.9%. Root and middle items are consistently harder than terminal items, and all models attain their highest TCHR on false premises and their lowest on underspecified questions. Yet when pooled across categories, 84.7--98.4% of each model's explicit refusal-like responses identify the correct rationale, localizing the main bottleneck to committing to an appropriate non-answer; failed trajectories instead diverge into hallucination or search-budget exhaustion. These results establish refusal in multi-hop search as a consequential evaluation problem and provide a foundation for diagnosing and improving the reliability of search-augmented agents.
• Abstract（参考訳）: 検索強化された大規模言語モデルエージェントは、知識集約的なタスクを解く能力がますます高まっているが、マルチホップ質問が根本的に解決不可能な場合の動作は、いまだに理解されていない。 既存の禁忌ベンチマークは、シングルホップクエリの表面の欠陥をおおむね露呈しているため、有効な中間推論と検索の後にのみ発生する障害は明らかにできない。 KILT-grounded entity paths から構築された 889 個の未解決質問を含む,マルチホップ検索における拒絶の制御を行う最初のベンチマークであるHopRefusalBench を紹介する。 未解決性の3つの原因(未知、偽りの前提、未特定コンテキスト)をルート、中、終端トポロジーと交差させ、前提検証、中間ブリッジ検証、終端停止を別々に観測可能である。 さらに,目標認識の拒絶,疑似拒絶,幻覚的完遂,探索予算の枯渇を対象とする最終アウトカム分類法と,ポストトリガー継続とトークン廃棄物に対するソース認識軌跡指標を提案する。 検索強化モードにおける10つのフロンティアプロプライエタリおよびオープンウェイトモデルにおいて、最良のモデルは目標対応の正しい停止率(TCHR)をわずか42.9%で達成する。 ルートアイテムとミドルアイテムは終端アイテムよりも一貫して難しく、すべてのモデルは偽の前提で最高のTHRを獲得し、未特定の質問で最低となる。 しかし、各モデルの明確な拒絶反応の84.7--98.4%は正しい論理を識別し、適切な非回答にコミットする主なボトルネックをローカライズする。 これらの結果は、連続的な評価問題としてマルチホップ検索の拒絶を確立し、検索強化エージェントの信頼性を診断・改善するための基盤を提供する。

関連論文リスト

• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation [7.095219140870008]
  既存の評価は主に最終回答の精度に重点を置いており、探索軌道の失敗を見逃す可能性がある。 本報告では,ショートカット,ファントム接地,不正証拠権訴訟,オーバー・レトリーバル・ロンダリング,クロス・モーダル・コンフリクション,証明を対象とする6カテゴリーの分類を紹介した。 統合されたReActスタイルの足場の下で,回答の正しさと証拠地上品質の両方を評価する軌道レベルの診断パイプラインを構築した。
  論文  参考訳（メタデータ） (2026-07-22T06:19:06Z)
• R$^2$-Searcher: Calibrating Retrieval and Reasoning Boundaries for Agentic Search [59.034878430183305]
  R$2$-Searcherは、検索と推論の境界を明示的に探索し、校正する。 R$2$-Searcherは,解答精度と検索品質において,最先端のエージェント検索法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-06-26T19:44:34Z)
• Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
  不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。 GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。 GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
  論文  参考訳（メタデータ） (2026-04-21T16:45:29Z)
• When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
  検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。 エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。 我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-02-07T13:50:38Z)
• To Search or Not to Search: Aligning the Decision Boundary of Deep Search Agents via Causal Intervention [61.82680155643223]
  我々は,不整合決定境界の根本原因を同定し,蓄積した情報が回答するのに十分であるかどうかをしきい値に判定する。 これにより、過剰探索(十分な知識にもかかわらず冗長探索)と過度探索(早期終了)が誤った答えをもたらす。 まず,境界誤差を識別する因果的介入に基づく診断手法を提案する。 第2に,Deep Search Agent(DAS)のための決定境界アライメントを開発する。 我々のDAS法はこれらの境界を効果的に校正し、オーバーサーチとアンダーサーチの両方を緩和し、精度と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-02-03T09:29:06Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Self-Critique Guided Iterative Reasoning for Multi-hop Question Answering [24.446222685949227]
  大規模言語モデル(LLM)は知識集約型マルチホップ推論の課題に直面している。 自己批判型反復推論(SiGIR)を提案する。 SiGIRは、反復推論プロセスのガイドに自己批判的なフィードバックを使用する。
  論文  参考訳（メタデータ） (2025-05-25T12:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。