論文の概要: How Unlikely Is "Unlikely"? Assessing Verbal Probability Perception Across Large Language Models

• arxiv url: http://arxiv.org/abs/2608.26327v1
• Date: Wed, 26 Aug 2026 19:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.159549
• Title: How Unlikely Is "Unlikely"? Assessing Verbal Probability Perception Across Large Language Models
• Title（参考訳）: 如何に"非類似"か? 大規模言語モデル間の言語的確率知覚を評価する
• Abstract要約: 確立された人間のベンチマークに基づいて,単語から数字へのマッピングタスクを用いて,系統的なクロスモデル評価を行う。 11個の不確実性表現を2つの条件下で19個のモデルに提示した。 モデルは「不可能」や「不可能」のような否定的な表現に対して体系的に上向きの偏見を示す」
• 参考スコア（独自算出の注目度）: 1.435579512127234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models increasingly produce and interpret verbal probability expressions, yet whether these expressions carry consistent meaning across models (or match human perceptions of uncertainty) remains unknown. We present a systematic cross-model evaluation using a word-to-number mapping task grounded in established human benchmarks. Eleven uncertainty expressions were presented to 19 models under two conditions, forced single-number response and explanation elicitation, alongside a novel bidirectional roundtrip test of internal consistency. LLMs track the human benchmark with surprising fidelity: word ordering is preserved, three anchor points are recovered, and ``possible'' shows the highest variance and cross-model disagreement of any expression tested, consistent with its documented bimodal interpretation in humans. However, models show a systematic upward bias for negative expressions such as ``unlikely'' and ``improbable.'' Explanation elicitation reduces within-model variance while increasing between-model divergence, stabilizing individual models at the cost of inter-model consensus, and the roundtrip experiment reveals clear stratification, with frontier models maintaining coherent bidirectional representations. LLMs thus reproduce the structure of human verbal probability cognition, including its biases, while diverging systematically at the negative end---with implications for any setting where humans and models exchange probabilistic language.
• Abstract（参考訳）: 大規模言語モデルは、言語的確率表現をますます生成し、解釈するが、これらの表現がモデル全体にわたって一貫した意味を持つかどうか(または不確実性に対する人間の認識と一致する)は、いまだに不明である。 確立された人間のベンチマークに基づいて,単語から数字へのマッピングタスクを用いて,系統的なクロスモデル評価を行う。 11個の不確実性表現を2つの条件下で19個のモデルに提示した。 LLMは、単語の順序が保存され、3つのアンカーポイントが復元され、' ``possible'' は、人間の文書化されたバイモーダル解釈と一致する、テストされたすべての表現の最もばらつきと相互モデルの相違を示す。 しかし、モデルは ``unlikely'' や ``improbable' のような負の表現に対して、体系的に上向きのバイアスを示す。 モデル間の分散を増大させ、モデル間のコンセンサスを犠牲にして個々のモデルを安定化させ、ラウンドトリップ実験により、コヒーレントな双方向表現を維持したフロンティアモデルによる明確な成層化を明らかにする。 したがって、LLMは人間の言語的確率認知の構造を再現し、そのバイアスも含むが、負の端で体系的に変化し、人間とモデルが確率的言語を交換するあらゆる場面において意味を持つ。

関連論文リスト

• Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis [57.78407973423517]
  我々は、モデルが人間の不一致を反映した不確実性を表現しながら予測する不確実性を考慮した主観性分析を提唱する。 この視点を運用するために,二相認識と不確実性アライメントの枠組みを提案する。 3つの主観的分析課題の実験は、DPUAが人間の不一致とモデルの不確実性をよりよく整合させながら、タスク性能を保っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T11:52:58Z)
• Extending Minimal Pairs with Ordinal Surprisal Curves and Entropy Across Applied Domains [0.0]
  本研究は,二項文法から順序スケールの分類とスコアリングタスクまで,素性に基づく評価を拡張した。 モデルに回答を求めるのではなく、情報理論の「サプライズ」を測る。 この枠組みは, 社会・生態・技術系の分類, 因果文の識別(バイナリとスケール), 図形言語検出, 帰納的定性的符号化の4分野にまたがる。
  論文  参考訳（メタデータ） (2026-03-15T14:31:00Z)
• Mastering Negation: Boosting Grounding Models via Grouped Opposition-Based Learning [87.15765427638195]
  D-Negationは、ポジティブな意味記述とネガティブな意味記述の両方で注釈付けされたオブジェクトを提供する新しいデータセットである。 本稿では,限られたサンプルから否定認識表現を学習する,反抗型学習フレームワークを提案する。 モデルパラメータの10%未満を微調整することにより、正および負のセマンティック評価において最大4.4mAPおよび5.7mAPの改善が達成される。
  論文  参考訳（メタデータ） (2026-03-13T03:21:48Z)
• Measuring Language Model Hallucinations Through Distributional Correctness [7.106986689736826]
  この問題を解決するために,新しい評価基準である分布補正スコア(DCS)を導入した。 DCSは、誤った回答における有害な過信と、棄権によって表される不確実性を区別し、解釈可能なデフォルト範囲でスコアを提供する。 DCSは、推測よりも真に不確実性を表現するモデルにインセンティブを与える、よりニュアンスで整列した評価パラダイムを提供する。
  論文  参考訳（メタデータ） (2025-10-05T17:50:42Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness [68.69369585600698]
  ディープラーニングモデルは多意味性による解釈可能性の欠如に悩まされることが多い。 神経細胞が一貫したセマンティクスと異なるセマンティクスに対応するモノセマンティクスの最近の進歩は、解釈可能性を大幅に改善した。 モノセマンティックな特徴は解釈可能性を高めるだけでなく、モデル性能の具体的な向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-27T18:03:20Z)
• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• How often are errors in natural language reasoning due to paraphrastic variability? [29.079188032623605]
  本稿では,自然言語推論モデルのパラフラスティック一貫性を評価するための指標を提案する。 我々は、この計量をパラフレーズ化に起因するモデルの正しさの分散の比率に数学的に結合する。 そこで我々は,7,782人の人間による記述・検証された推論問題のデータセットであるParaNLUを収集した。
  論文  参考訳（メタデータ） (2024-04-17T20:11:32Z)
• Incoherent Probability Judgments in Large Language Models [4.307483901449801]
  自己回帰型大言語モデル(LLM)による確率判断のコヒーレンスを評価する。 これらのモデルから得られる判断は、しばしば不整合であり、確率論の規則から人間のような体系的な逸脱を示す。
  論文  参考訳（メタデータ） (2024-01-30T00:40:49Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。