論文の概要: Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention

• arxiv url: http://arxiv.org/abs/2609.22056v1
• Date: Fri, 18 Sep 2026 17:48:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.229269
• Title: Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention
• Title（参考訳）: マルチホップ検索における予測可能な失敗:スコア分布信頼度と無視
• Abstract要約: マルチホップ検索障害はクエリに均一に分散しない。 CWAR(Confident-Wrong-Answer Rate)は、3つのマルチホップベンチマークで評価される。 MuSiQue では、RCS は 5 つの条件すべてにおいて最高の AUCAC または 最高の AUCAC を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-hop retrieval failures are not uniformly distributed across queries: they cluster in structurally predictable subpopulations. We prove two results formalizing this structure. First (CWAR Reducibility): confident-failure reduction is achievable if and only if retrieval features carry mutual information about success, a condition satisfied by LLM-judge pipelines but substantially weaker in dense-only settings, explaining the AUC-AC gap between regimes. Second (Feature Regime Complementarity): no single ANN score feature achieves best predictive performance across all failure regimes; the dominant feature differs between datasets (query length on MuSiQue, hop-1 concentration on HoVer), and a constructive witness pair shows each is necessary in one regime and non-contributory in the other. We instantiate these principles in RegimeAbstain, which computes a Retrieval Confidence Score (RCS), a logistic function of up to nine query-ANN structural features, all available without any additional LLM call, and uses it to implement a calibrated abstention policy. We define the Confident-Wrong-Answer Rate (CWAR) metric and evaluate across three multi-hop benchmarks (MuSiQue, 2WikiMultiHopQA, HoVer) and two retrieval architectures (LLM-judge and dense-only), covering five failure regimes with CWAR from 14.5% to 62.1%. RCS achieves best or co-best AUC-AC in all five conditions against eight confidence baselines. On MuSiQue (LLM-judge), RCS reduces CWAR from 39.5% to 20.6% at 50% coverage (47.8% relative reduction), with ECE=0.035. A model trained on MuSiQue transfers to 2WikiMultiHopQA with only -0.5pp AUC loss, confirming the domain-agnostic structure of regime features.
• Abstract（参考訳）: マルチホップ検索障害はクエリ全体に均一に分散されず、構造的に予測可能なサブ集団にクラスタされる。 この構造を形式化する2つの結果が証明される。 第一に,LLM-judgeパイプラインが満たす条件は,レギュラー間のAUC-ACギャップを説明すれば,高密度な設定では著しく弱くなる。 第2に (Feature Regime Complementarity): 単一ANNスコア機能は、すべての障害レシスタンスで最高の予測パフォーマンスを達成することができず、支配的な特徴はデータセット(MuSiQueのクエリ長、HoVerのホップ-1濃度)によって異なり、建設的な目撃者ペアは、一方のレシスタンスと他方の非コントリビュータにそれぞれ必要であることを示す。 Retrieval Confidence Score (RCS) を計算したRegimeAbstainでは,これらの原則をインスタンス化しています。 CWAR(Confident-Wrong-Answer Rate)測定値を定義し,3つのマルチホップベンチマーク (MuSiQue, 2WikiMultiHopQA, HoVer) と2つの検索アーキテクチャ (LLM-judge, dense-only) を比較した。 RCSは8つの信頼ベースラインに対して、5つの条件すべてにおいて、最高のまたは最高のAUC-ACを達成する。 MuSiQue (LLM-judge) では、RCS は CWAR を 39.5% から 20.6% に減らし、50% のカバレッジ (47.8% の相対的な削減) で、ECE=0.035 である。 MuSiQueでトレーニングされたモデルが2WikiMultiHopQAに転送され、わずか0.5ppのAUC損失しか得られず、レギュラー特徴のドメインに依存しない構造が確認された。

関連論文リスト

• Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework [9.601233098598456]
  本研究では,LLMにおける推論品質を測定するための多次元統合フレームワークを提案する。 4つのベンチマークから975項目にまたがる7つのLCM実験により、このフレームワークは精度のみのメトリクスから見えない振る舞いを明らかにしている。
  論文  参考訳（メタデータ） (2026-05-23T17:03:42Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs [0.0]
  クレームを4方向のタイポロジー(接地,非接地,矛盾,相補的)に分割する基盤性フレームワークを提案する。 GSARは、明示的な計算予算の下で、結合された回復を伴うエビデンス型スコアリングを結合した最初の基盤フレームワークである。
  論文  参考訳（メタデータ） (2026-04-25T16:20:28Z)
• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution [2.28438857884398]
  自然言語として知識を格納するLLMエージェントは、条件数の増加に伴って急激な検索劣化に悩まされる。 本稿では,3つの密結合コンポーネントによるテスト時間適応のための統合フレームワークであるPreCEPTを紹介する。
  論文  参考訳（メタデータ） (2026-03-10T13:16:45Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。