論文の概要: "very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2610.00083v1
• Date: Sun, 06 Sep 2026 19:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.357815
• Title: "very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification
• Title（参考訳）: LLMは言語学的不確かさの定量化においていかに人間から逸脱するか
• Abstract要約: 人間は言葉でマーカーを通して不確実性を表現する(例:「可能性」、または「様々」) ほとんどの不確実性定量化(UQ)は、確率や一貫性に基づく信号のコストに依存する。 我々は,不確実性マーカーに対する最適な不確実性プロファイルを学習する新しい最適化アルゴリズムである MethodNAME を紹介する。
• 参考スコア（独自算出の注目度）: 60.06977041561786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans express uncertainty verbally via markers (e.g., "possible," "likely"), yet most LLM uncertainty quantification (UQ) relies on costing likelihood- or consistency-based signals. From a cognitive perspective, accurate verbal uncertainty reflects metacognitive monitoring, representing knowledge boundaries ("knowing that you don't know") to support regulation and information seeking. In this paper, we investigate how LLMs diverge from humans in verbal uncertainty quantification and whether verbal markers can reliably quantify LLM uncertainty. We curate a corpus of human uncertainty markers from psychology and decision-science literature and benchmark LLMs against it. We observe that LLMs encode verbal uncertainty with numerical levels that differ substantially from those of humans. We then introduce METHODNAME, a novel optimization-based algorithm that learns an optimal uncertainty profile over uncertainty markers directly from LLM outputs. By fitting a marker-uncertainty mapping to best explain empirical correctness, METHODNAME discovers how much probability mass each verbal marker should convey, rather than estimating uncertainty via repeated sampling. METHODNAME enables a direct, marker-level comparison of confidence semantics between humans and LLMs, disentangling mismatch and revealing systematic confidence disparities in verbal expressions.
• Abstract（参考訳）: 人間は、マーカー(例えば「可能性」、または「可能性」)を介して言葉で不確実性を表現するが、ほとんどのLLM不確実性定量化(UQ)は、可能性に基づく信号や一貫性に基づく信号のコストに依存する。 認知の観点からは、正確な言語不確実性はメタ認知的モニタリングを反映し、知識境界(「知らないことを知る」)を表現し、規制と情報探索を支援する。 本稿では,LLMが言語不確実性定量化において人間からどのように拡散するか,また,言語マーカーがLLMの不確実性を確実に定量化できるかを検討する。 我々は心理学や意思決定科学の文献から人間の不確実性マーカーのコーパスをキュレートし、それに対してLSMをベンチマークする。 我々はLLMが人間の言語と大きく異なる数値レベルの言語不確かさを符号化していることを観察した。 次に, LLM 出力から直接不確実性マーカーに対する最適な不確実性プロファイルを学習する, 最適化に基づく新しいアルゴリズム MethodNAME を紹介する。 経験的正しさを最もよく説明するためにマーカー不確実性マッピングを組み込むことで、反復サンプリングによる不確実性を推定するのではなく、各動詞マーカーが伝達すべき確率質量を推定する。 METHODNAMEは、人間とLLM間の信頼関係の直接的、マーカーレベルの比較を可能にし、ミスマッチを解消し、言語表現における体系的な信頼格差を明らかにする。

関連論文リスト

• Embedding Perturbation may Better Reflect the Uncertainty in LLM Reasoning [17.830165082895757]
  不確実量化(UQ)技術は、その出力に関するモデルの不確実性を推定するために使われ、それらの出力が問題となる可能性があることを示す。 LLM推論タスクでは、最終回答だけでなく、推論の中間ステップについても不確実性を推定することが不可欠である。 本研究により, LLMの誤った推論ステップは, 前回のトークン埋め込みの摂動に非常に敏感なトークンを含む傾向があることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:27:26Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
  大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。 我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
  論文  参考訳（メタデータ） (2025-07-22T03:21:48Z)
• MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
  メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。 MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:54:08Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• On Verbalized Confidence Scores for LLMs [25.160810008907397]
  大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。 この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。 我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:36Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。