論文の概要: Calibrating Segmentation Networks with Margin-based Label Smoothing
- arxiv url: http://arxiv.org/abs/2209.09641v2
- Date: Wed, 31 Jan 2024 01:33:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 18:16:47.917256
- Title: Calibrating Segmentation Networks with Margin-based Label Smoothing
- Title（参考訳）: Margin-based Label Smoothing を用いたセグメンテーションネットワークの校正
- Authors: Balamurali Murugesan, Bingyuan Liu, Adrian Galdran, Ismail Ben Ayed,
Jose Dolz
- Abstract要約: 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。
これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。
我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
- 参考スコア（独自算出の注目度）: 19.669173092632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the undeniable progress in visual recognition tasks fueled by deep
neural networks, there exists recent evidence showing that these models are
poorly calibrated, resulting in over-confident predictions. The standard
practices of minimizing the cross entropy loss during training promote the
predicted softmax probabilities to match the one-hot label assignments.
Nevertheless, this yields a pre-softmax activation of the correct class that is
significantly larger than the remaining activations, which exacerbates the
miscalibration problem. Recent observations from the classification literature
suggest that loss functions that embed implicit or explicit maximization of the
entropy of predictions yield state-of-the-art calibration performances. Despite
these findings, the impact of these losses in the relevant task of calibrating
medical image segmentation networks remains unexplored. In this work, we
provide a unifying constrained-optimization perspective of current
state-of-the-art calibration losses. Specifically, these losses could be viewed
as approximations of a linear penalty (or a Lagrangian term) imposing equality
constraints on logit distances. This points to an important limitation of such
underlying equality constraints, whose ensuing gradients constantly push
towards a non-informative solution, which might prevent from reaching the best
compromise between the discriminative performance and calibration of the model
during gradient-based optimization. Following our observations, we propose a
simple and flexible generalization based on inequality constraints, which
imposes a controllable margin on logit distances. Comprehensive experiments on
a variety of public medical image segmentation benchmarks demonstrate that our
method sets novel state-of-the-art results on these tasks in terms of network
calibration, whereas the discriminative performance is also improved.
- Abstract（参考訳）: 深層ニューラルネットワークによって引き起こされる視覚認識タスクの不確実な進歩にもかかわらず、これらのモデルが校正が不十分であることを示す最近の証拠がある。
訓練中のクロスエントロピー損失を最小化する標準的な慣行は、予測されたソフトマックス確率を1つのホットラベル割り当てに合致させる。
それにもかかわらず、これは、残りのアクティベーションよりもかなり大きい正しいクラスのソフトマックス前のアクティベーションをもたらし、誤校正問題を悪化させる。
分類文献からの最近の観察から、予測のエントロピーを暗黙的または明示的に最大化する損失関数は、最先端のキャリブレーション性能をもたらすことが示唆されている。
これらの結果にもかかわらず、医療画像分割ネットワークの校正作業におけるこれらの損失の影響は未解明のままである。
本研究では,現在のキャリブレーション損失の統一的最適化視点を提案する。
特に、これらの損失はロジット距離の等式制約を課す線形ペナルティ(あるいはラグランジュ項)の近似と見なすことができる。
このことは、そのような基礎となる等式制約の重要な制限であり、従って勾配が常に非形式的解に向かって進み、勾配に基づく最適化の際の判別性能とモデルのキャリブレーションの最良の妥協点に達するのを防いでいることを示している。
本稿では,不等式制約に基づく簡易かつ柔軟な一般化を提案し,ロジット距離に制御可能なマージンを課す。
各種公開医用画像セグメンテーションベンチマークの総合的な実験により,ネットワークキャリブレーションの観点から,これらのタスクに新たな成果が得られたが,識別性能も向上した。
関連論文リスト
- Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。
高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。
本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
論文 参考訳（メタデータ） (2024-10-23T23:06:50Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳（メタデータ） (2024-07-23T20:34:23Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Semi-Supervised Deep Regression with Uncertainty Consistency and
Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。
整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。
実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
論文 参考訳（メタデータ） (2023-02-15T10:40:51Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
トレーニングデータポイントの不確実性による摂動について考察する。
損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。
線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
論文 参考訳（メタデータ） (2022-02-11T16:22:08Z) - The Devil is in the Margin: Margin-based Label Smoothing for Network
Calibration [21.63888208442176]
ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。
現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。
我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文 参考訳（メタデータ） (2021-11-30T14:21:47Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z) - Learning Prediction Intervals for Regression: Generalization and
Calibration [12.576284277353606]
不確実性定量のための回帰における予測間隔の生成について検討する。
我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。
我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
論文 参考訳（メタデータ） (2021-02-26T17:55:30Z) - A Flatter Loss for Bias Mitigation in Cross-dataset Facial Age
Estimation [37.107335288543624]
年齢推定ベンチマークのためのクロスデータセットプロトコルを提唱する。
本稿では,ニューラルネットワークのトレーニングに有効な新しい損失関数を提案する。
論文 参考訳（メタデータ） (2020-10-20T15:22:29Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。