論文の概要: An Analysis of Training-Free Self-Reported Confidence in Language Models

• arxiv url: http://arxiv.org/abs/2609.20541v1
• Date: Thu, 17 Sep 2026 15:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.336055
• Title: An Analysis of Training-Free Self-Reported Confidence in Language Models
• Title（参考訳）: 言語モデルにおける学習自由な自己報告信頼の分析
• Abstract要約: 我々は,回答で言語化された信頼度,ポストホックな$P(mathrmTrue)$,同じ100のTriviaQA質問でさらに3世代と合意する,3つのトレーニング自由信号を分析した。 1つのモデルから9つのエラーのうち4つと、もう1つのモデルから8つのエラーが一致したサンプルサポートを受けており、自己一貫性が共有された誤解を増幅できることを示している。
• 参考スコア（独自算出の注目度）: 13.820419805749436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can report a numerical confidence together with generated content, but it is unclear whether this report is more than calibrated rhetoric. We analyze three training-free signals: confidence verbalized with the answer, post-hoc $P(\mathrm{True})$, and agreement with three additional generations on the same 100 TriviaQA questions for two model families. Direct verbalization is a surprisingly strong baseline: after auditing benchmark errors, it reaches AUROC 0.956 and 0.937 for correctness prediction. Three-sample agreement is substantially weaker (0.765 and 0.790), and a fixed interpolation with verbalized confidence has no statistically reliable benefit. Four of nine errors from one model and two of eight from the other receive unanimous sample support, showing that self-consistency can amplify shared misconceptions. Re-eliciting confidence for the same fixed answers with equivalent prompts changes scores by 0.043 to 0.084 on average and flips 4\% to 9\% of decisions at a 0.8 threshold. An exploratory audit of 100 confidence-tagged biography claims further finds only a modest confidence gap between supported and contradicted claims. These results argue that useful self-reports remain sensitive to elicitation, correlated errors, and benchmark noise.
• Abstract（参考訳）: 大規模言語モデルでは、生成した内容とともに数値的信頼度を報告できるが、この報告が校正されたレトリック以上のものであるかどうかは不明である。 本研究は,2つのモデルファミリーに対するTriviaQA問合せを同一の100世代に分けて検討し,その回答を言語化した信頼度,ポストホックな$P(\mathrm{True})$,さらに3世代に分けて検討した。 ベンチマークエラーを監査した後、精度予測のためにAUROC 0.956と0.937に達する。 3サンプル合意はかなり弱く(0.765と0.790)、言語化された信頼を持つ固定補間は統計的に信頼できる利益を持たない。 1つのモデルから9つのエラーのうち4つと、もう1つのモデルから8つのエラーが一致したサンプルサポートを受けており、自己一貫性が共有された誤解を増幅できることを示している。 同じ固定された回答に対する信頼を同等のプロンプトで再評価すると、平均で0.043から0.084のスコアが変更され、0.8の閾値で4\%から9\%の判定が反転する。 100件の信頼タグ付き伝記の探索監査では、支持された主張と矛盾した主張の間には、わずかに信頼ギャップしか見つからない。 これらの結果は、有用な自己報告は、誘導、相関誤差、ベンチマークノイズに敏感であると主張している。

関連論文リスト

• HalluPrism: When Multimodal Uncertainty Should Diagnose, Not Decide [18.50218795316691]
  本稿では,視覚的劣化,空白画像の置き換え,接地・関係チェックの後に回答を再実行する行動診断法であるHaluPrismを提案する。 これらのターゲットプローブは、視覚的摂動感度、画像除去された信頼性保持、グラウンドディング/リレーショナル-プローブ不安定性に対するシグネチャを与える。
  論文  参考訳（メタデータ） (2026-08-29T11:06:37Z)
• When Linguistic and Internal Confidence Diverge in Large Language Models [36.57105743509995]
  大きな言語モデル(LLM)が内部の信頼度を追跡するかどうかは不明である。 分類において,言語的信頼度とロジットに基づく信頼度を比較する。 言語的信頼度が意味エントロピーに基づく不確実性を追跡するかどうかを世代毎に検証する。
  論文  参考訳（メタデータ） (2026-08-28T14:37:31Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
  大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。 出力アンカートークン確率に基づく正規化信頼スコアを導入する。 これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
  論文  参考訳（メタデータ） (2026-02-18T07:05:12Z)
• ORCA: Open-ended Response Correctness Assessment for Audio Question Answering [41.72231074041232]
  本研究では,予測精度と不確実性の両方を予測するために,ベータ分布を用いた人的判断の変動をモデル化するフレームワークORCAを提案する。 我々は15のLALMから11,721のアノテーションを収集し,0.82(クリッペンドルフのα)のアノテータ間契約を達成した。
  論文  参考訳（メタデータ） (2025-11-28T14:41:48Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation [70.27452774899189]
  大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。 2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。 言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
  論文  参考訳（メタデータ） (2023-11-15T11:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。