論文の概要: The Role of Model Confidence on Bias Effects in Measured Uncertainties

• arxiv url: http://arxiv.org/abs/2506.16724v1
• Date: Fri, 20 Jun 2025 03:43:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.326454
• Title: The Role of Model Confidence on Bias Effects in Measured Uncertainties
• Title（参考訳）: 不確実性測定におけるモデル信頼度がバイアス効果に及ぼす影響
• Authors: Xinyi Liu, Weiguang Wang, Hangfeng He,
• Abstract要約: 我々は,視覚質問応答(VQA)タスクにおいて,早期導入バイアスの軽減により不確かさの定量化が促進されることを見出した。 バイアスのないモデル信頼度が低い場合、すべてのバイアスが両方の不確実性に大きな変化をもたらすことが判明した。 これらの異なる影響により、不確実性定量化のためのバイアス緩和の理解が深まり、より高度な技術の発展を知らせる可能性がある。
• 参考スコア（独自算出の注目度）: 11.314633260055436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growing adoption of Large Language Models (LLMs) for open-ended tasks, accurately assessing epistemic uncertainty, which reflects a model's lack of knowledge, has become crucial to ensuring reliable outcomes. However, quantifying epistemic uncertainty in such tasks is challenging due to the presence of aleatoric uncertainty, which arises from multiple valid answers. While bias can introduce noise into epistemic uncertainty estimation, it may also reduce noise from aleatoric uncertainty. To investigate this trade-off, we conduct experiments on Visual Question Answering (VQA) tasks and find that mitigating prompt-introduced bias improves uncertainty quantification in GPT-4o. Building on prior work showing that LLMs tend to copy input information when model confidence is low, we further analyze how these prompt biases affect measured epistemic and aleatoric uncertainty across varying bias-free confidence levels with GPT-4o and Qwen2-VL. We find that all considered biases induce greater changes in both uncertainties when bias-free model confidence is lower. Moreover, lower bias-free model confidence leads to greater underestimation of epistemic uncertainty (i.e. overconfidence) due to bias, whereas it has no significant effect on the direction of changes in aleatoric uncertainty estimation. These distinct effects deepen our understanding of bias mitigation for uncertainty quantification and potentially inform the development of more advanced techniques.
• Abstract（参考訳）: オープンエンドタスクに対するLarge Language Models(LLM)の採用が増加し、モデルの知識不足を反映した認識の不確実性を正確に評価することが、信頼性の高い結果の確保に不可欠になっている。 しかし、複数の有効な答えから生じるアレタリック不確実性の存在のため、そのようなタスクにおける認識の不確実性の定量化は困難である。 バイアスはてんかんの不確実性推定にノイズをもたらす可能性があるが、アレタリック不確実性からノイズを減らすこともできる。 このトレードオフを検討するために、視覚質問応答(VQA)タスクの実験を行い、即時導入バイアスの緩和がGPT-4oの不確かさの定量化を改善することを発見した。 GPT-4oおよびQwen2-VLを用いた各種バイアスフリー信頼度において, モデル信頼度が低い場合, LLMが入力情報をコピーする傾向を示す先行研究に基づいて, これらの急激なバイアスが測定されたてんかんおよびアラート的不確実性にどのように影響するかを解析した。 バイアスのないモデル信頼度が低い場合、すべてのバイアスが両方の不確実性に大きな変化をもたらすことが判明した。 さらに、バイアスのないモデルの信頼性が低いと、バイアスによるてんかんの不確実性(すなわち過信)がより過小評価される。 これらの異なる影響により、不確実性定量化のためのバイアス緩和の理解が深まり、より高度な技術の発展を知らせる可能性がある。

関連論文リスト

• Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
  大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。 本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
  本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。 我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T23:28:20Z)
• MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty [10.154013836043816]
  データ不確実性の存在下での過去の不確実性定量化手法について検討する。 以上の結果から,従来の手法はシングル・アンサー・セッティングに比べて比較的困難であったことが示唆された。 我々は,データ不確実性が存在する場合でも,エントロピーと一貫性に基づく手法がモデル不確実性を効果的に推定することを示した。
  論文  参考訳（メタデータ） (2024-08-13T11:17:31Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement [7.6146285961466]
  本稿では,不整合不整合を生成する手法を一般化し,不整合不整合の定量化を行う。 本研究は,学習失語症とてんかん不確実性との間に相互作用があることを示し,失語症不確実性に対する仮定に違反していることを示す。 我々の定式化と結果は、実践者や研究者が不確実性を選択するのに役立ち、不確実性の利用を拡大するのに役立つと期待する。
  論文  参考訳（メタデータ） (2022-04-20T08:41:37Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。