論文の概要: Can LLMs Use Linguistic Uncertainty Markers to Reliably Reflect Intrinsic Confidence?

• arxiv url: http://arxiv.org/abs/2605.28778v1
• Date: Wed, 27 May 2026 17:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.251843
• Title: Can LLMs Use Linguistic Uncertainty Markers to Reliably Reflect Intrinsic Confidence?
• Title（参考訳）: LLMは言語的不確実性マーカを使って本質的な信頼を確実に反映できるか?
• Abstract要約: モデルが、安定かつ一般化可能な方法でマーカーと特定の信頼レベルを関連付けるために、独自の言語的信頼フレームワークを適用できるかどうかは不明である。 我々は,与えられたタスク領域において,モデルが特定のてんかんマーカーと関連付ける内在的信頼度として,_marker internal confidence_(MIC)を定式化する。 分析フレームワークを多種多様なモデルやタスクに適用すると、LLMはマーカーの意味のモデル中心の解釈の下でも、忠実に誤解される。
• 参考スコア（独自算出の注目度）: 50.17126900886782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs' linguistically expressed confidence should faithfully reflect their intrinsic uncertainty. While recent work shows LLMs struggle to use epistemic markers (e.g., "it is likely...") in a human-aligned fashion, it remains unclear whether models can apply their own linguistic confidence framework to associate markers with specific confidence levels in a stable and generalizable way, and how contextual features impact this ability. We conduct the first systematic study of this question, formalizing _marker internal confidence_ (MIC) as the estimated intrinsic confidence a model associates with a specific epistemic marker in a given task domain. We present 7 metrics to evaluate the stability of MICs within and across distributions. Applying our analysis framework to diverse models and tasks, we find that LLMs remain faithfully miscalibrated even under model-centric interpretation of marker meanings, struggling to differentiate markers by internal confidence across distributions despite preserving a somewhat consistent ranking order across tasks. This supplies critical, complementary evidence to existing work toward a holistic understanding of faithful calibration in LLMs, emphasizing the need for more aligned and stable marker use to improve trustworthiness and reliability.
• Abstract（参考訳）: LLMの言語的に表現された自信は、本質的な不確かさを忠実に反映すべきである。 最近の研究は、LLMがヒトと協調してエピステママーカーを使用するのに苦労していることを示しているが、モデルが特定の信頼性レベルを安定して一般化可能な方法でマーカを関連付けるために、自身の言語的信頼フレームワークを適用できるかどうか、また、文脈的特徴がこの能力にどのように影響するかは定かではない。 本研究では,特定のタスク領域において,モデルが特定のてんかんマーカーと関連付ける内因性信頼度として,_marker internal confidence_(MIC)を定式化する。 分布内および分布内におけるMICの安定性を評価するための指標を7つ提示する。 分析フレームワークを多種多様なモデルやタスクに適用すると、LCMはマーカーの意味のモデル中心の解釈の下でも、タスク間の幾分一貫したランク付け順序を維持しつつも、内部的な信頼性によってマーカーを区別するのに苦労していることが分かる。 このことは、LCMの忠実な校正の全体的理解に向けた既存の研究に批判的で補完的な証拠を提供し、信頼性と信頼性を改善するためにより整合性があり安定したマーカーの使用の必要性を強調している。

関連論文リスト

• Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
  ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。 二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。 実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
  論文  参考訳（メタデータ） (2025-12-21T05:22:04Z)
• MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
  メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。 MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:54:08Z)
• Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty? [46.28794610965004]
  大規模言語モデル(LLM)は、ハイテイクなドメインでますます使われている。 LLMが本質的な信頼を反映するためにこれらのマーカーを一貫して使用しているかどうかは不明だ。 まず,モデルがてんかんマーカーを用いた場合のマーカー信頼度を観測精度として定義する。 以上の結果から,マーカーは同じ分布内ではよく一般化するが,分布外シナリオでは信頼性に矛盾が認められた。
  論文  参考訳（メタデータ） (2025-05-30T16:41:24Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501435]
  大規模言語モデル(LLM)は、いくつかのタスクにおいて印象的なパフォーマンスを示し、現実のアプリケーションにますますデプロイされている。 高精細度設定では、LCMの出力がいつ信頼できないかを知ることが不可欠となる。 本研究では,LLMが回答の信頼度を確実に示すことができる範囲と,この信頼度の概念が下流の精度向上にどのように変換できるかを考察する。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• What Large Language Models Know and What People Think They Know [13.939511057660013]
  大規模言語モデル(LLM)は意思決定プロセスに統合されつつある。 人間の信頼を得るためには、LSMは正確に評価し、正しい予測の可能性を伝達できるように、適切に校正されなければならない。 ここでは, LLM生成回答における人間の信頼度とモデルの実際の信頼度との差を示すキャリブレーションギャップと, 人間とモデルが正解と誤解をいかによく区別できるかを反映した識別ギャップについて検討する。
  論文  参考訳（メタデータ） (2024-01-24T22:21:04Z)
• TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
  本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。 まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。 これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
  論文  参考訳（メタデータ） (2024-01-10T22:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。