論文の概要: Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty

• arxiv url: http://arxiv.org/abs/2605.30675v1
• Date: Fri, 29 May 2026 00:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.300429
• Title: Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty
• Title（参考訳）: 大規模言語モデル不確実性における人間のアライメント, 校正, 活性化パターン
• Authors: Kyle Moore, Jesse Roberts, Daryl Watson, William Ward, Grayson Heyboer,
• Abstract要約: 大規模言語モデルの不確実性が人間の不確実性にどの程度類似しているかという未解明の問題について検討する。 モデルが様々なデータセット上で同時アライメントとキャリブレーションの証拠を示すかどうかを同定する。
• 参考スコア（独自算出の注目度）: 3.070121019787871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty Quantification is a large and growing subfield of large language model behavioral analysis. Primarily to recognize and combat hallucination, the field has largely focused on measuring and improving calibration, the accuracy of uncertainty judgments to task efficacy. In this work, we investigate the relatively underexplored question of how similar large language model uncertainty is to human uncertainty. We investigate the presence and strength of human-similar uncertainty signals, deemed uncertainty alignment, in large language model overt behavior and internal activation patterns. We identify whether the models show evidence of simultaneous alignment and calibration on a variety of datasets covering both multiple choice and open ended factual recall. And we characterize the effect of instruct fine-tuning on each of these facets.
• Abstract（参考訳）: 不確かさの定量化は、大規模言語モデル行動解析の大規模で成長するサブフィールドである。 主に幻覚の認識と戦闘のために、この分野は校正の測定と改善、不確実性判定の正確性、タスクの有効性に重点を置いてきた。 本研究では,大規模な言語モデルの不確実性が人間の不確実性にどの程度類似しているか,という比較的未解明の問題を考察する。 本研究では,大言語モデルオーバート行動と内的アクティベーションパターンにおいて,不確実性を考慮した人間の相似不確実性信号の存在と強度について検討した。 モデルが複数の選択とオープンエンドの事実リコールの両方をカバーする様々なデータセットに対して同時アライメントとキャリブレーションの証拠を示すかどうかを同定する。 そして,これら各面に対する微調整の指導効果を特徴付ける。

関連論文リスト

• Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis [57.78407973423517]
  我々は、モデルが人間の不一致を反映した不確実性を表現しながら予測する不確実性を考慮した主観性分析を提唱する。 この視点を運用するために,二相認識と不確実性アライメントの枠組みを提案する。 3つの主観的分析課題の実験は、DPUAが人間の不一致とモデルの不確実性をよりよく整合させながら、タスク性能を保っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T11:52:58Z)
• Sensitivity Uncertainty Alignment in Large Language Models [0.0]
  逆入力およびあいまい入力下での大規模言語モデルの故障を解析するためのフレームワークを提案する。 我々はスカラースコア SUA_theta(x) を定義し、分布感度と予測エントロピーの差を捉える。 我々は,一貫性の正則化とエントロピーアライメントを組み合わせたトレーニング手法SUA-TRと,より安全な推論のための禁制ルールを導入する。
  論文  参考訳（メタデータ） (2026-04-21T17:53:12Z)
• Reasoning aligns language models to human cognition [12.07126784684808]
  我々は、サンプリング(積極的な証拠取得)と推論(意思決定への証拠の統合)をきれいに分離する活発な確率論的推論タスクを導入する。 人間と、近最適参照ポリシーに対する幅広い現代の大規模言語モデルをベンチマークすると、一貫したパターンが明らかになる。 このモデルは、人間とモデルを共有された低次元認知空間に配置し、エージェント間での行動シグネチャを再現し、チェーン・オブ・シントが言語モデルを人間のようなエビデンス・アソシエーション・ツー・チョイス・マッピングにどのようにシフトするかを示す。
  論文  参考訳（メタデータ） (2026-02-09T14:13:39Z)
• From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
  このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。 3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。 この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
  論文  参考訳（メタデータ） (2026-01-22T06:21:31Z)
• Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models [0.0]
  本研究では,人間のグループレベルの不確実性と従来のモデルキャリブレーションの両概念との密接な一致を判断するために,推論時不確実性尺度の収集を評価する。 その結果,ヒトの回答嗜好に一致していないにもかかわらず,人間の不確実性に強い対応を示す尺度が多数存在することが判明した。
  論文  参考訳（メタデータ） (2025-08-11T17:22:45Z)
• On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
  大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点からこれらの課題に対処する。 本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。 提案手法はブラックボックス言語モデルに適用できる。
  論文  参考訳（メタデータ） (2024-06-07T18:54:40Z)
• Investigating the Impact of Model Instability on Explanations and Uncertainty [43.254616360807496]
  テキスト入力における不確かさを推測時に雑音を導入することでシミュレートする。 高い不確実性は必ずしも説明可能性の低さを暗示しない。 このことは、ノイズ増強モデルが不確実性のあるトークンを特定するのに優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-02-20T13:41:21Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models [74.07684768317705]
  LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。 その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。 これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-26T23:46:29Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。