論文の概要: Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty

• arxiv url: http://arxiv.org/abs/2605.30675v1
• Date: Fri, 29 May 2026 00:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.300429
• Title: Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty
• Title（参考訳）: 大規模言語モデル不確実性における人間のアライメント, 校正, 活性化パターン
• Abstract要約: 大規模言語モデルの不確実性が人間の不確実性にどの程度類似しているかという未解明の問題について検討する。 モデルが様々なデータセット上で同時アライメントとキャリブレーションの証拠を示すかどうかを同定する。
• 参考スコア（独自算出の注目度）: 3.070121019787871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty Quantification is a large and growing subfield of large language model behavioral analysis. Primarily to recognize and combat hallucination, the field has largely focused on measuring and improving calibration, the accuracy of uncertainty judgments to task efficacy. In this work, we investigate the relatively underexplored question of how similar large language model uncertainty is to human uncertainty. We investigate the presence and strength of human-similar uncertainty signals, deemed uncertainty alignment, in large language model overt behavior and internal activation patterns. We identify whether the models show evidence of simultaneous alignment and calibration on a variety of datasets covering both multiple choice and open ended factual recall. And we characterize the effect of instruct fine-tuning on each of these facets.
• Abstract（参考訳）: 不確かさの定量化は、大規模言語モデル行動解析の大規模で成長するサブフィールドである。 主に幻覚の認識と戦闘のために、この分野は校正の測定と改善、不確実性判定の正確性、タスクの有効性に重点を置いてきた。 本研究では,大規模な言語モデルの不確実性が人間の不確実性にどの程度類似しているか,という比較的未解明の問題を考察する。 本研究では,大言語モデルオーバート行動と内的アクティベーションパターンにおいて,不確実性を考慮した人間の相似不確実性信号の存在と強度について検討した。 モデルが複数の選択とオープンエンドの事実リコールの両方をカバーする様々なデータセットに対して同時アライメントとキャリブレーションの証拠を示すかどうかを同定する。 そして,これら各面に対する微調整の指導効果を特徴付ける。

関連論文リスト

• Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis [57.78407973423517]
  我々は、モデルが人間の不一致を反映した不確実性を表現しながら予測する不確実性を考慮した主観性分析を提唱する。 この視点を運用するために,二相認識と不確実性アライメントの枠組みを提案する。 3つの主観的分析課題の実験は、DPUAが人間の不一致とモデルの不確実性をよりよく整合させながら、タスク性能を保っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T11:52:58Z)
• Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
  マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。 まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。 次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
  論文  参考訳（メタデータ） (2026-05-06T13:08:12Z)
• Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models [54.041320081289996]
  音声対応大言語モデル(ALLM)における不確実性推定に関する最初の系統的研究について述べる。 予測エントロピー、長さ正規化エントロピー、意味エントロピー、個別意味エントロピー、P(True)を含む5つの代表的な手法をベンチマークする。 まず、意味レベルと検証ベースの手法は、一般的な音声推論ベンチマークにおけるトークンレベルベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-04-28T12:56:22Z)
• Sensitivity Uncertainty Alignment in Large Language Models [0.0]
  逆入力およびあいまい入力下での大規模言語モデルの故障を解析するためのフレームワークを提案する。 我々はスカラースコア SUA_theta(x) を定義し、分布感度と予測エントロピーの差を捉える。 我々は,一貫性の正則化とエントロピーアライメントを組み合わせたトレーニング手法SUA-TRと,より安全な推論のための禁制ルールを導入する。
  論文  参考訳（メタデータ） (2026-04-21T17:53:12Z)
• Reasoning aligns language models to human cognition [12.07126784684808]
  我々は、サンプリング(積極的な証拠取得)と推論(意思決定への証拠の統合)をきれいに分離する活発な確率論的推論タスクを導入する。 人間と、近最適参照ポリシーに対する幅広い現代の大規模言語モデルをベンチマークすると、一貫したパターンが明らかになる。 このモデルは、人間とモデルを共有された低次元認知空間に配置し、エージェント間での行動シグネチャを再現し、チェーン・オブ・シントが言語モデルを人間のようなエビデンス・アソシエーション・ツー・チョイス・マッピングにどのようにシフトするかを示す。
  論文  参考訳（メタデータ） (2026-02-09T14:13:39Z)
• From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
  このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。 3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。 この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
  論文  参考訳（メタデータ） (2026-01-22T06:21:31Z)
• Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models [0.0]
  本研究では,人間のグループレベルの不確実性と従来のモデルキャリブレーションの両概念との密接な一致を判断するために,推論時不確実性尺度の収集を評価する。 その結果,ヒトの回答嗜好に一致していないにもかかわらず,人間の不確実性に強い対応を示す尺度が多数存在することが判明した。
  論文  参考訳（メタデータ） (2025-08-11T17:22:45Z)
• Investigating Human-Aligned Large Language Model Uncertainty [0.0]
  我々は,人間のグループレベルの不確実性と相関する指標を特定するために,様々な不確実性対策について検討する。 ベイズ測度とエントロピー測度の変化,トップkエントロピーは,モデルサイズの関数として人間の行動と一致する傾向にある。 モデルサイズと人相似性の強い尺度が減少するが、複数の線形回帰により、複数の不確実性尺度を組み合わせることで、サイズ依存性の低減と同等な人相整合が得られることがわかった。
  論文  参考訳（メタデータ） (2025-03-16T14:45:43Z)
• On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
  大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点からこれらの課題に対処する。 本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。 提案手法はブラックボックス言語モデルに適用できる。
  論文  参考訳（メタデータ） (2024-06-07T18:54:40Z)
• Investigating the Impact of Model Instability on Explanations and Uncertainty [43.254616360807496]
  テキスト入力における不確かさを推測時に雑音を導入することでシミュレートする。 高い不確実性は必ずしも説明可能性の低さを暗示しない。 このことは、ノイズ増強モデルが不確実性のあるトークンを特定するのに優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-02-20T13:41:21Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models [74.07684768317705]
  LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。 その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。 これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-26T23:46:29Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。