論文の概要: Are LLM Decisions Faithful to Verbal Confidence?

• arxiv url: http://arxiv.org/abs/2601.07767v1
• Date: Mon, 12 Jan 2026 17:49:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.708262
• Title: Are LLM Decisions Faithful to Verbal Confidence?
• Title（参考訳）: LLMの決定は言語信頼に忠実か?
• Authors: Jiawei Wang, Yanfei Zhou, Siddartha Devic, Deqing Fu,
• Abstract要約: 本稿では,モデルが種々のエラー罰に応答して,禁忌ポリシーを調整するかどうかを評価するためのフレームワークを提案する。 いくつかのフロンティアモデルに対する我々の評価は、モデルが言語的信頼を表現する際にはコストを意識せず、また、関与するかどうかを判断する際には戦略的に応答しない、という重大な解離を明らかにしている。 これは、格付けされた言語的信頼スコアが、信頼できる、解釈可能なAIシステムを作るのに十分でないことを示唆している。
• 参考スコア（独自算出の注目度）: 15.666596480779104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can produce surprisingly sophisticated estimates of their own uncertainty. However, it remains unclear to what extent this expressed confidence is tied to the reasoning, knowledge, or decision making of the model. To test this, we introduce $\textbf{RiskEval}$: a framework designed to evaluate whether models adjust their abstention policies in response to varying error penalties. Our evaluation of several frontier models reveals a critical dissociation: models are neither cost-aware when articulating their verbal confidence, nor strategically responsive when deciding whether to engage or abstain under high-penalty conditions. Even when extreme penalties render frequent abstention the mathematically optimal strategy, models almost never abstain, resulting in utility collapse. This indicates that calibrated verbal confidence scores may not be sufficient to create trustworthy and interpretable AI systems, as current models lack the strategic agency to convert uncertainty signals into optimal and risk-sensitive decisions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、驚くほど高度な不確実性を推定することができる。 しかし、それがモデルの推論、知識、意思決定にどの程度の信頼が結びついているかは、まだ不明である。 これをテストするために、$\textbf{RiskEval}$: さまざまなエラーペナルティに応じて、モデルが禁忌ポリシーを調整するかどうかを評価するように設計されたフレームワークを紹介します。 いくつかのフロンティアモデルを評価すると,モデルが言語的信頼を表現する際にはコストを意識せず,高額な条件下で活動するかどうかを判断する際には戦略的に応答しない,という重要な解離が生じる。 極端な罰則が数学的に最適な戦略を頻繁に棄却しても、モデルはほとんど棄却せず、実用性は崩壊する。 これは、現在のモデルでは不確実性信号を最適かつリスクに敏感な決定に変換する戦略的エージェンシーが欠如しているため、口頭信頼度スコアが信頼に値するAIシステムを作るのに十分でないことを示している。

関連論文リスト

• Decision-Aware Trust Signal Alignment for SOC Alert Triage [0.0]
  本稿では,SOC警告トリアージの信頼信号対応方式を提案する。 このフレームワークは、調整済みの信頼性、軽量不確実性、そしてコストに敏感な決定しきい値をコヒーレントな決定支持層に組み合わせている。 信頼度が不一致な表示によって偽陰性が大幅に増幅されるのに対し、コスト重み付き損失は決定整合信頼信号を持つモデル間での桁違いに減少することを示す。
  論文  参考訳（メタデータ） (2026-01-08T01:41:54Z)
• Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models [58.198220611190884]
  大規模言語モデル(LLM)における復号化戦略が不確実性推定に与える影響について検討する。 実験の結果,反復を緩和するContrastive Searchは,所望のLLMに対して,平均不確かさを推定できることがわかった。
  論文  参考訳（メタデータ） (2025-09-20T13:48:13Z)
• Query-Level Uncertainty in Large Language Models [39.59641844929696]
  クエリーレベル不確実性を用いて知識境界を検出する手法を提案する。 この方法は、任意のトークンを生成する前に、モデルが所定のクエリに応答できるかどうかを推定する。 我々は、適応推論設定におけるその利点を示し、RAGとモデルカスケーディングは、全体的な性能を維持しながら、推論コストを削減することを示す。
  論文  参考訳（メタデータ） (2025-06-11T12:39:48Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
  言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。 本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。 回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
  論文  参考訳（メタデータ） (2025-03-03T09:16:26Z)
• On Evaluating the Durability of Safeguards for Open-Weight LLMs [80.36750298080275]
  我々は,大規模言語モデル(LLM)の誤用を技術的保護が阻害するか否かを論じる。 これらの防御を評価することさえ非常に困難であり、観客を誤解させることなく、安全は実際のものよりも耐久性が高いと考えることが示される。 今後の研究は、より制約があり、明確に定義され、厳密に検討された脅威モデルに注意深く対応することを提案します。
  論文  参考訳（メタデータ） (2024-12-10T01:30:32Z)
• Enhancing Trust in Large Language Models with Uncertainty-Aware Fine-Tuning [10.457661605916435]
  大規模言語モデル(LLM)は、その印象的な推論と質問応答能力によって自然言語処理の分野に革命をもたらした。 LLMは時に、幻覚として知られる、信頼できるが誤った情報を生成する傾向にある。 本稿では,決定論の原理に基づく不確実性を考慮した因果的言語モデリング損失関数を提案する。
  論文  参考訳（メタデータ） (2024-12-03T23:14:47Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。