論文の概要: Uncertainty Weighted Gradients for Model Calibration

• arxiv url: http://arxiv.org/abs/2503.22725v1
• Date: Wed, 26 Mar 2025 04:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:34:25.811955
• Title: Uncertainty Weighted Gradients for Model Calibration
• Title（参考訳）: モデル校正のための不確かさ重み付き勾配
• Authors: Jinxu Lin, Linwei Tao, Minjing Dong, Chang Xu,
• Abstract要約: ディープネットワークは、しばしば過信または過信の予測を生成し、誤校正につながる。 そこで我々は, モデルキャリブレーションにおけるそれらの優位性を損失重み付け因子に主に寄与する, 焦点損失とその変種に対する統一的損失フレームワークを提案する。 本手法は,SOTA(State-of-the-art)性能を実現する。
• 参考スコア（独自算出の注目度）: 22.39558434131574
• License:
• Abstract: Model calibration is essential for ensuring that the predictions of deep neural networks accurately reflect true probabilities in real-world classification tasks. However, deep networks often produce over-confident or under-confident predictions, leading to miscalibration. Various methods have been proposed to address this issue by designing effective loss functions for calibration, such as focal loss. In this paper, we analyze its effectiveness and provide a unified loss framework of focal loss and its variants, where we mainly attribute their superiority in model calibration to the loss weighting factor that estimates sample-wise uncertainty. Based on our analysis, existing loss functions fail to achieve optimal calibration performance due to two main issues: including misalignment during optimization and insufficient precision in uncertainty estimation. Specifically, focal loss cannot align sample uncertainty with gradient scaling and the single logit cannot indicate the uncertainty. To address these issues, we reformulate the optimization from the perspective of gradients, which focuses on uncertain samples. Meanwhile, we propose using the Brier Score as the loss weight factor, which provides a more accurate uncertainty estimation via all the logits. Extensive experiments on various models and datasets demonstrate that our method achieves state-of-the-art (SOTA) performance.
• Abstract（参考訳）: モデルキャリブレーションは、ディープニューラルネットワークの予測が現実世界の分類タスクにおける真の確率を正確に反映することを保証するために不可欠である。 しかし、ディープネットワークはしばしば過信または過信の予測を生成し、誤校正につながる。 焦点損失などのキャリブレーションに有効な損失関数を設計することで,この問題に対処する様々な手法が提案されている。 本稿では, モデルキャリブレーションにおけるそれらの優位性を, サンプル単位の不確かさを推定する損失重み付け係数に主に寄与する, 焦点損失とその変異の統一的損失フレームワークについて分析する。 本分析により, 既存の損失関数は, 最適化時の誤調整や不確実性推定の精度の低下といった2つの主要な問題により, 最適校正性能を達成できないことがわかった。 特に、焦点損失はサンプルの不確実性と勾配スケーリングを一致させることができず、単一のロジットは不確実性を示すことができない。 これらの問題に対処するために、不確実なサンプルに焦点を当てた勾配の観点から最適化を再構築する。 一方、損失重み係数としてブライアスコアを用いることにより、全てのロジットによるより正確な不確実性推定を行う。 各種モデルおよびデータセットの大規模な実験により,本手法がSOTA(State-of-the-art)性能を実現することを示す。

関連論文リスト

• Enhancing accuracy of uncertainty estimation in appearance-based gaze tracking with probabilistic evaluation and calibration [13.564919425738163]
  外見に基づく視線追跡の不確実性は、信頼性の高い下流アプリケーションを保証するために重要である。 現在の不確実性認識アプローチでは、トレーニングデータセット内の分布に従って不確実性を取得する確率論的モデルを採用している。 トレーニングされたモデルの不確かさを推定する際のバイアスを軽減するために,確率校正に基づく補正戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-24T19:33:55Z)
• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Reliable Multimodal Trajectory Prediction via Error Aligned Uncertainty Optimization [11.456242421204298]
  よく校正されたモデルでは、不確実性推定はモデル誤差と完全に相関する。 本稿では,モデル誤差に整合した品質不確実性推定を導出するための,新しい誤差整合不確実性最適化手法を提案する。 本研究では, 平均変位誤差を1.69%, 4.69%, モデル誤差との不確実性相関を17.22%, 19.13%, ピアソン相関係数で定量化することにより, 平均変位誤差を1.69%, 4.69%改善することを示した。
  論文  参考訳（メタデータ） (2022-12-09T12:33:26Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• On Calibrated Model Uncertainty in Deep Learning [0.0]
  損失校正されたベイジアンフレームワークの近似推論を,ドロップウェイトに基づくベイジアンニューラルネットワークに拡張する。 損失校正された不確実性から得られる決定は、簡単な代替手段よりも、診断性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-15T20:16:32Z)
• Improving model calibration with accuracy versus uncertainty optimization [17.056768055368384]
  適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。 精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。 平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
  論文  参考訳（メタデータ） (2020-12-14T20:19:21Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。