論文の概要: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition

• arxiv url: http://arxiv.org/abs/2603.09309v1
• Date: Tue, 10 Mar 2026 07:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.127443
• Title: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition
• Title（参考訳）: 信頼性を再スケーリングする - LLMのメタ認知について,スケール設計が示すもの
• Authors: Yuyang Dai,
• Abstract要約: 回答の78%以上が3つのラウンドナンバー値に集中している。 0-20スケールは標準の0-100フォーマットよりもメタ認知効率を一貫して向上させる。
• 参考スコア（独自算出の注目度）: 0.06345523830122167
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Verbalized confidence, in which LLMs report a numerical certainty score, is widely used to estimate uncertainty in black-box settings, yet the confidence scale itself (typically 0--100) is rarely examined. We show that this design choice is not neutral. Across six LLMs and three datasets, verbalized confidence is heavily discretized, with more than 78% of responses concentrating on just three round-number values. To investigate this phenomenon, we systematically manipulate confidence scales along three dimensions: granularity, boundary placement, and range regularity, and evaluate metacognitive sensitivity using meta-d'. We find that a 0--20 scale consistently improves metacognitive efficiency over the standard 0--100 format, while boundary compression degrades performance and round-number preferences persist even under irregular ranges. These results demonstrate that confidence scale design directly affects the quality of verbalized uncertainty and should be treated as a first-class experimental variable in LLM evaluation.
• Abstract（参考訳）: LLMが数値的確実性スコアを報告している有界信頼度はブラックボックス設定の不確かさを推定するために広く用いられているが、信頼度尺度そのもの(典型的には0-100)はめったに検討されていない。 この設計選択は中立ではないことを示す。 6つのLDMと3つのデータセットにまたがって、言語化された信頼度は、わずか3つのラウンドナンバー値に集中する回答の78%以上で、大きく区別されている。 この現象を解析するために, 粒度, 境界配置, 範囲規則性という3次元の信頼度尺度を体系的に操作し, メタ認知感度の評価を行う。 その結果,0-20スケールでは標準の0-100フォーマットよりもメタ認知効率が一貫して向上し,境界圧縮では性能が低下し,ラウンドナンバーの嗜好は不規則な範囲でも持続することがわかった。 これらの結果から,信頼度尺度設計は言語的不確実性の質に直接影響し,LLM評価において第一級実験変数として扱われるべきであることが示唆された。

関連論文リスト

• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• How to Correctly Report LLM-as-a-Judge Evaluations [13.389479132464778]
  大型言語モデル (LLM) は、人間の代わりに評価器として使われることが多い。 拡張性はあるものの、LLMの不完全特異性と感度のため、その判断はうるさい。 この研究は、そのようなバイアスを補正し、テストデータセットとキャリブレーションデータセットの両方の不確かさを反映した信頼区間を構築する、シンプルなプラグインフレームワークを示す。
  論文  参考訳（メタデータ） (2025-11-26T07:46:46Z)
• LLMs are Overconfident: Evaluating Confidence Interval Calibration with FermiEval [0.3499870393443268]
  大規模言語モデル(LLM)は数値推定では優れているが、不確実性を正確に定量化するのに苦労する。 我々は,LLMが自身の回答の周囲の信頼区間を適切に構築し,体系的に過度に信頼されていることを明らかにする。
  論文  参考訳（メタデータ） (2025-10-30T20:49:41Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• SteerConf: Steering LLMs for Confidence Elicitation [11.872504642312705]
  大規模言語モデル(LLM)は、様々な領域で素晴らしいパフォーマンスを示すが、しばしば過剰な自信に悩まされる。 本稿では,LCMの信頼性スコアを体系的に評価し,キャリブレーションと信頼性を向上させる新しいフレームワークであるSteerConfを提案する。
  論文  参考訳（メタデータ） (2025-03-04T18:40:49Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators [6.403926452181712]
  大規模言語モデル(LLM)は、その答えの事実において信頼できない傾向にある。 本稿では,事実信頼度の推定者の調査と実証的比較について述べる。 実験により, 訓練された隠れ状態プローブが最も信頼性の高い信頼度を推定できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T10:11:37Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• Reconfidencing LLMs from the Grouping Loss Perspective [56.801251926946485]
  大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。 近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。 そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
  論文  参考訳（メタデータ） (2024-02-07T15:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。