論文の概要: Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents

• arxiv url: http://arxiv.org/abs/2609.17708v1
• Date: Tue, 15 Sep 2026 18:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.497425
• Title: Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents
• Title（参考訳）: 信頼は経験から生まれる:推論からエージェントへの経験的信頼推定
• Abstract要約: 我々は、現在の推測が信頼の十分な基盤ではないと論じる。 XConf(eXperiential Confidence)を提案する。 XConfは、24つの比較のうち23の差別において10サンプルの自己整合性を破り、一致させ、また、発生コストの10分の1で、より低い校正誤差(ECE)を発生させる。
• 参考スコア（独自算出の注目度）: 31.564077476142554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable confidence estimation is increasingly central to the trustworthy deployment of language models: a calibrated estimate of the probability that an output is correct decides what to ship, what to escalate, and what to retry. Existing confidence estimators, however, share one design premise: they only read the current inference process, either by introspecting on it, scoring its token probabilities, or resampling it. We argue that the current inference is not a sufficient basis for confidence. We propose XConf (eXperiential Confidence): estimating confidence together with the model's accumulated experience. The experience is stored as a record of the model's own graded past episodes, each holding the task, the model's reflection, its stated confidence, the outcome, and a lesson written once the grade arrived. Given a new task, XConf's Recall stage retrieves past episodes on similar tasks met with a similar stated confidence, and reads off their historical success rate; its Reflect stage shows the model this record, has it name its recurring failure mode, and restate a confidence now informed by its own track records. Our estimator is format-general, requiring no logit access or weight updates, and costs only one answer generation. Across nine benchmarks spanning reasoning, coding, multimodal QA, and interactive agents, and four models from three families, XConf beats or matches ten-sample self-consistency in discrimination (AUROC) on 23 of 24 comparisons, with much lower calibration error (ECE), at a tenth of the generation cost. Used for selective prediction, abstaining on the 10% least-confident episodes raises the delivered success rate by up to 8.7 points on agent tasks. We therefore see experiential confidence estimation as a new paradigm for future general-purpose confidence estimation.
• Abstract（参考訳）: 信頼できる信頼度の推定は、信頼できる言語モデルのデプロイメントにおいて、ますます中心になっている。 しかし、既存の信頼度推定者は、1つの設計前提を共有している。彼らは現在の推論プロセスのみを読み取る。 我々は、現在の推測が信頼の十分な基盤ではないと論じる。 XConf(eXperiential Confidence:eXperiential Confidence):モデルの蓄積した経験と共に信頼度を推定する。 経験は、それぞれがタスク、モデルのリフレクション、その主張された自信、結果、そして、グレードが到着したら書かれた教訓を保持する、モデル自身のグレードされた過去のエピソードの記録として記憶される。 新しいタスクが与えられた後、XConfのリコールステージは、類似したタスクに関する過去のエピソードを検索し、同様の信頼が満たされた上で、その過去の成功率を読み取る。 私たちの推定器は形式一般であり、ロジットアクセスや重み更新は必要ありません。 推論、コーディング、マルチモーダルQA、対話エージェントにまたがる9つのベンチマークと、XConfの3つのファミリーの4つのモデルが、24つの比較のうち23つの比較で10サンプルの自己整合性(AUROC)を、生成コストの10分の1で比較した。 選択的な予測のために使用され、10%の最小信頼のエピソードを断念すると、エージェントタスクで最大8.7ポイントの成功率を上げる。 そこで我々は,実験的信頼度推定を将来の汎用信頼度推定の新しいパラダイムとみなしている。

関連論文リスト

• Future Confidence Distillation in Large Language Models [0.0]
  既存のアプローチは、信頼性を完了した応答の特性として扱う。 本研究では, 時間的観点からの信頼度を, 解答前判断(FOK)と解答後判断(JOL)の信頼度推定を比較して検討する。 解法後の信頼度は、解法前の信頼度よりも常に校正され、差別的であることが示される。
  論文  参考訳（メタデータ） (2026-07-08T16:43:11Z)
• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Large Language Model Confidence Estimation via Black-Box Access [30.490207799344333]
  大規模言語モデル(LLM)の応答に対する信頼度をブラックボックスやクエリアクセスで推定する問題について検討する。 そこで我々は,新しい特徴を設計し,その信頼性を推定するために,これらの特徴に対する(解釈可能な)モデル(つまりロジスティック回帰)を訓練する,シンプルで汎用的なフレームワークを提案する。 我々は,Flan-ul2,-13b,Mistral-7b,GPT-4の4つのベンチマークQ&Aタスクおよび2つのベンチマーク要約タスクにおけるPegasus-large,BART-largeの信頼性を推定する上で,我々の単純なフレームワークが有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-01T02:08:44Z)
• Learning Confidence for Transformer-based Neural Machine Translation [38.679505127679846]
  本稿では,ニューラルネットワーク翻訳(NMT)モデルのトレーニングと協調して,教師なしの信頼度推定学習を提案する。 我々は、NMTモデルが正しい予測を行うために必要なヒントの数として、信頼性を説明し、より多くのヒントは信頼性の低いことを示す。 学習された信頼度推定は文・単語レベルの品質評価タスクにおいて高い精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-22T01:51:58Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。