論文の概要: Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay

• arxiv url: http://arxiv.org/abs/2608.26846v1
• Date: Thu, 27 Aug 2026 09:15:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.324362
• Title: Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay
• Title（参考訳）: 一致軌跡再生による信頼度向上検索の評価
• Abstract要約: 信頼と行動のマッピングを比較するための制御プロトコルであるMatched trajectory replayを提案する。 マルチホップ質問応答システムにおいて, 生の言語的信頼度とポストホック等調音校正度を比較した。 全体的な精度は、HotpotQAでは最大15ポイント向上するが、MuSiQueでは最大17ポイント低下する。
• 参考スコア（独自算出の注目度）: 3.888537003098864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive language-model agents use confidence signals to decide whether to answer immediately, retrieve additional evidence (from memory or external knowledge), or defer. Yet confidence is usually evaluated in isolation, without measuring the trajectory-level consequences of the actions it triggers. We propose matched trajectory replay, a controlled protocol for comparing confidence-to-action mappings. The protocol holds candidate answer states, evidence points, budgets, and action costs fixed. We use it to compare raw verbalized confidence with post-hoc isotonic calibration in a multi-hop question-answering system using Mistral, GPT, and Qwen models on HotpotQA and MuSiQue datasets. At the same numerical commitment threshold, calibration changes which questions agents ultimately commit to answering. Across all six model-dataset pairs, it increases accuracy among committed answers by up to 41 percentage points. However, it can reduce coverage and increase retrieval use. Overall accuracy improves by up to 15 percentage points on HotpotQA but falls by up to 17 percentage points on MuSiQue. These effects reflect a shift to a more selective, lower-risk operating point, not improved answers or confidence ranking. A calibration map fitted before retrieval improves held-out calibration through retrieval depths one and two, but is worse than raw confidence at depth three for all three models. Additional evidence helps on average, but this aggregate effect does not establish whether confidence identifies which individual episodes will benefit from another retrieval. Taken together, these results show that calibration can make commitment risk interpretable, but it does not estimate the expected benefit of another retrieval. Retrieval therefore requires a separate value-of-information or utility estimate. Evaluations should report held-out calibration, risk-coverage, and retrieval cost.
• Abstract（参考訳）: 対話型言語モデルエージェントは、信頼信号を使用して、すぐに答えるか、追加の証拠(メモリまたは外部知識から)を取得するか、延期するかを決定する。 しかし、信頼は通常、それが引き起こす行動の軌道レベルの結果を測定することなく、孤立して評価される。 信頼と行動のマッピングを比較するための制御プロトコルであるMatched trajectory replayを提案する。 このプロトコルには、候補者の回答ステート、エビデンスポイント、予算、行動コストが固定されている。 提案手法は,HotpotQAおよびMuSiQueデータセット上のMistral,GPT,Qwenモデルを用いたマルチホップ質問応答システムにおいて,生の単語化信頼度とポストホック等調キャリブレーションを比較した。 同じ数値コミットメントしきい値では、質問員が最終的に答えをコミットするキャリブレーションが変更される。 6つのモデルデータセットのペア全体で、コミットされた回答の精度を最大41ポイント向上させる。 しかし、カバー範囲を減らし、検索使用量を増やすことができる。 全体的な精度は、HotpotQAでは最大15ポイント向上するが、MuSiQueでは最大17ポイント低下する。 これらの効果は、より選択的でリスクの低い運用ポイントへの移行を反映している。 検索前のキャリブレーションマップは, 検索深度1, 2によるキャリブレーションを向上するが, 3モデルすべてに対して, 生の信頼度3よりも劣る。 追加の証拠は平均的に役立つが、この集約効果は、どのエピソードが他の検索から恩恵を受けるかの信頼を確定するものではない。 これらの結果は、キャリブレーションがコミットメントのリスクを解釈できることを示しているが、他の検索の利点を見積もることはできない。 そのため、検索には情報の価値とユーティリティの見積が別々に必要となる。 評価は、キャリブレーション、リスクカバレッジ、検索コストを報告すべきである。

関連論文リスト

• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• From token probabilities to calibrated confidence: An empirical study of mathematical question answering [1.0032961794537367]
  以前の研究によると、トークンの確率は過信されることが多い。 トークン確率を元の世代から再利用するシングルパス推定器とマルチパス推定器を比較した。 完全列上の集合トークン確率は、正しい世代と不正確な世代の間に小さいが一貫した差を捉えている。
  論文  参考訳（メタデータ） (2026-08-08T00:00:19Z)
• AB-RAG: Adaptive Budgeted Retrieval-Augmented Generation for Reliable Question Answering [0.0]
  AB-RAGはトレーニングフリーでバックボーンに依存しないフレームワークで、答えを生成する。 信頼度を3つの信号の組み合わせから推定する。 そして、停止するか、より多くの証拠を回収するかを決定する。
  論文  参考訳（メタデータ） (2026-06-27T21:08:14Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Reconfidencing LLMs from the Grouping Loss Perspective [56.801251926946485]
  大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。 近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。 そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
  論文  参考訳（メタデータ） (2024-02-07T15:40:22Z)
• POCO: 3D Pose and Shape Estimation with Confidence [99.91683561240549]
  我々は,HPSレジストレーターをトレーニングする新しいフレームワークPOCOを開発し,人体だけでなく,その信頼性も評価した。 具体的には、POCOは3Dボディポーズとサンプルごとのばらつきの両方を推定する。 あらゆるケースにおいて、不確実性について推論するためにネットワークをトレーニングすることは、より正確に3Dのポーズを推定するのに役立つ。
  論文  参考訳（メタデータ） (2023-08-24T17:59:04Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。