論文の概要: When Does Evidence-Graph Structure Predict Answer Correctness? Label-Free Abstention for Structured Retrieval
- arxiv url: http://arxiv.org/abs/2610.24030v1
- Date: Fri, 16 Oct 2026 07:19:00 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:53:14.505072
- Title: When Does Evidence-Graph Structure Predict Answer Correctness? Label-Free Abstention for Structured Retrieval
- Title（参考訳）: エビデンスグラフ構造は回答の正しさをいつ予測するか?
- Abstract要約: トレーニング不要の禁忌法は、エビデンスグラフにおいて選択されたエビデンスに境界カットを適用する。
信号は選択された候補と選択されていない候補の間の重み付きカットであり、正確性ラベルや信頼モデルトレーニングを必要としない。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Retrieval systems return scored answers, but a high score does not show that an answer should be trusted. The proposed training-free abstention method applies the boundary cut to the selected evidence in an evidence graph. The signal is the weighted cut between selected and unselected candidates and requires no correctness labels or confidence-model training. On MemoryAgentBench (MAB) FactConsolidation multi-hop, with unresolved queries ranked last for every selector, it raises area under the precision-coverage curve from 0.736 for the best score baseline to 0.785 (+0.049, 95% CI [+0.008, +0.092]); under the native evaluation, where score baselines keep their unresolved values, the gap is +0.108. A zero-cut subset contains 71 of 400 queries at 100% observed precision. In this pipeline, the subset corresponds to structural closure; controlled analyses attribute much of the remaining separation to resolution status, with little benefit from continuous edge weights. Across external benchmarks, usefulness varies with graph construction, edge semantics, and relation; typed structure alone does not ensure useful confidence. A supervised gradient-boosted selector achieves 0.814 versus the boundary cut's 0.785 when the retrieval stack matches. These findings provide empirical guidance for using available evidence graphs for lightweight, auditable post-retrieval abstention without additional model inference.
- Abstract（参考訳）: 検索システムは、スコア付き回答を返すが、高いスコアは、回答が信頼されるべきであることを示すものではない。
提案手法は,エビデンスグラフにおいて選択されたエビデンスに境界カットを適用した。
信号は選択された候補と選択されていない候補の間の重み付きカットであり、正確性ラベルや信頼モデルトレーニングを必要としない。
MemoryAgentBench (MAB) FactConsolidation multi-hopでは、各セレクタで最後にランク付けされた未解決クエリで、最高のスコアベースラインに対して0.736から0.785(+0.049, 95% CI [+0.008, +0.092])まで精度の高いカバレッジ曲線で領域を上昇させる。
ゼロカットサブセットは、100パーセントの精度で400のクエリのうち71を含む。
このパイプラインでは、サブセットは構造的クロージャに対応しており、制御された解析は、残りの分離の大部分を分解状態としており、連続的なエッジ重みの利点はほとんどない。
外部ベンチマーク全体において、有用性はグラフの構成、エッジセマンティクス、関係性によって異なる。
教師付き勾配ブーストセレクタは、検索スタックが一致したときに境界カットの0.785に対して0.814を達成する。
これらの知見は, モデル推論を伴わずに, 軽量で監査可能な検索後の禁忌のために利用可能なエビデンスグラフを使用するための実証的ガイダンスを提供する。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - ScienceBuddy-PV: A Verifier-Governed Recursive Improvement Protocol for Panvascular Intervention Research [10.439532348359288]
ScienceBuddyはScienceBuddyのデザインを、構造化されたエビデンス台帳、デバイス容器、禁断契約、障害銀行の維持を通じて、血管介入の研究に適合させる。
我々は、ARCADE構文と狭窄タスクを別々に使用して、完全なエージェントシステムではなく、固定されたコンポーネントを監査する。
論文 参考訳（メタデータ） (2026-10-10T03:35:28Z) - DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。
直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。
メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-23T03:06:01Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - What Would Fix This RAG Failure? Auditing Counterfactual Response with Paired Evidence Interventions [0.0]
我々はPair-IDを紹介した。Pair-IDは1つのクエリ、検索状態、読み取り定数を格納し、次に2つの操作を横断する。
19,981のベンチマーククエリで11,105のQwen障害が特定され、SHA-256オーダーが1200を選択して、サンプリングされた応答を生成する。
その結果,ハッシュ選択された有資格障害サンプルにおいて有意な速度でエビデンスが発生し,観察された故障から部分的に予測可能であり,読者に条件付きであることが示唆された。
論文 参考訳（メタデータ） (2026-08-09T22:43:27Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳（メタデータ） (2026-07-20T22:40:36Z) - What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study [0.0]
我々はAUROCを用いて、各クエリがいかに正確かを測定する。
BIRDとスパイダーでは、文字列、構造、実行の自己整合性、スキーマ関連スコア、クエリ実行性といったブラックボックス信号はすべて0.61から0.68AUROCに該当する。
検証器をトレーニングできるかどうかを問う。符号化器と生成器の両方で、約0.77～0.79 AUROCの非分布に到達するが、未知のスキーマでは約0.66に低下する。
論文 参考訳（メタデータ） (2026-07-07T20:52:58Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Show Your Work with Confidence: Confidence Bands for Tuning Curves [51.12106543561089]
チューニング作業の関数としての曲線プロット検証性能。
そこで我々は,曲線のチューニングに有効な信頼帯域を構築するための最初の方法を提案する。
提案手法と比較し,提案手法の有効性を検証し,サンプルサイズの影響を解析し,モデルの比較に関するガイダンスを提供する。
論文 参考訳（メタデータ） (2023-11-16T00:50:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。