論文の概要: Investigating Human-Aligned Large Language Model Uncertainty

• arxiv url: http://arxiv.org/abs/2503.12528v1
• Date: Sun, 16 Mar 2025 14:45:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:00:06.192833
• Title: Investigating Human-Aligned Large Language Model Uncertainty
• Title（参考訳）: 人間に適応した大言語モデルの不確実性の調査
• Authors: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski,
• Abstract要約: 我々は,人間のグループレベルの不確実性と相関する指標を特定するために,様々な不確実性対策について検討する。 ベイズ測度とエントロピー測度の変化,トップkエントロピーは,モデルサイズの関数として人間の行動と一致する傾向にある。 モデルサイズと人相似性の強い尺度が減少するが、複数の線形回帰により、複数の不確実性尺度を組み合わせることで、サイズ依存性の低減と同等な人相整合が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.
• Abstract（参考訳）: 近年,大規模な言語モデルの不確実性を定量化して,モデル制御とユーザ信頼の調整を目指している。 これまでの研究は、理論上、モデルの平均的なオーバート動作を反映している不確実性の測定に重点を置いていた。 本研究では,人間のグループレベルの不確実性と相関する指標を特定するために,様々な不確実性対策について検討する。 ベイズ測度とエントロピー測度の変化,トップkエントロピーは,モデルサイズの関数として人間の行動と一致する傾向にある。 モデルサイズと人相似性の強い尺度が減少するが、複数の線形回帰により、複数の不確実性尺度を組み合わせることで、サイズ依存性の低減と同等な人相整合が得られることがわかった。

関連論文リスト

• Complexity Matters: Effective Dimensionality as a Measure for Adversarial Robustness [0.7366405857677227]
  本研究では,モデルの有効次元性とロバスト性との関係について検討する。 YOLO や ResNet などの実環境でよく使用される商用規模のモデルで実験を行う。 実効次元と対向ロバスト性の間のほぼ直線的逆関係を明らかにし、低次元ロバスト性モデルがより良いロバスト性を示すことを示した。
  論文  参考訳（メタデータ） (2024-10-24T09:01:34Z)
• Uncertainty-aware Human Mobility Modeling and Anomaly Detection [28.311683535974634]
  本研究では,効率的な異常検出に向けて,人間のエージェントの移動行動のモデル化方法について検討する。 我々はGPSデータを時系列の静止点イベントとして使用し、それぞれに時間的特徴を特徴付ける。 数万のエージェントによる大規模専門家シミュレーションデータセットの実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2024-10-02T06:57:08Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Robust Active Measuring under Model Uncertainty [11.087930299233278]
  部分的可観測性と不確実性は、シーケンシャルな意思決定において一般的な問題である。 本稿では,RAM-MDPを効率よく解き,モデルの不確実性によりエージェントがより少ない測定を行えることを示す。
  論文  参考訳（メタデータ） (2023-12-18T14:21:35Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Quantification of Uncertainty with Adversarial Models [6.772632213236167]
  不確実性の定量化は、現実のアプリケーションにおいて実行可能な予測にとって重要である。 逆数モデル(QUAM)による不確かさの定量化を提案する。 QUAM は積分の下にある積全体が大きい領域を識別する。
  論文  参考訳（メタデータ） (2023-07-06T17:56:10Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。