論文の概要: The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration

• arxiv url: http://arxiv.org/abs/2111.15430v4
• Date: Wed, 5 Jul 2023 07:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 00:58:23.581720
• Title: The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration
• Title（参考訳）: the devil is the margin: ネットワークキャリブレーションのためのマージンベースのラベル平滑化
• Authors: Bingyuan Liu, Ismail Ben Ayed, Adrian Galdran, Jose Dolz
• Abstract要約: ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
• 参考スコア（独自算出の注目度）: 21.63888208442176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In spite of the dominant performances of deep neural networks, recent works have shown that they are poorly calibrated, resulting in over-confident predictions. Miscalibration can be exacerbated by overfitting due to the minimization of the cross-entropy during training, as it promotes the predicted softmax probabilities to match the one-hot label assignments. This yields a pre-softmax activation of the correct class that is significantly larger than the remaining activations. Recent evidence from the literature suggests that loss functions that embed implicit or explicit maximization of the entropy of predictions yield state-of-the-art calibration performances. We provide a unifying constrained-optimization perspective of current state-of-the-art calibration losses. Specifically, these losses could be viewed as approximations of a linear penalty (or a Lagrangian) imposing equality constraints on logit distances. This points to an important limitation of such underlying equality constraints, whose ensuing gradients constantly push towards a non-informative solution, which might prevent from reaching the best compromise between the discriminative performance and calibration of the model during gradient-based optimization. Following our observations, we propose a simple and flexible generalization based on inequality constraints, which imposes a controllable margin on logit distances. Comprehensive experiments on a variety of image classification, semantic segmentation and NLP benchmarks demonstrate that our method sets novel state-of-the-art results on these tasks in terms of network calibration, without affecting the discriminative performance. The code is available at https://github.com/by-liu/MbLS .
• Abstract（参考訳）: ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究は、それらの調整が不十分であることを示しており、過密な予測を生じさせている。 トレーニング中のクロスエントロピーの最小化により、オーバーフィッティングによってミスキャリブレーションが悪化し、予測されたソフトマックス確率を1つのホットラベル割り当てと一致させる。 これにより、残りのアクティベーションよりもはるかに大きい正しいクラスのpre-softmaxアクティベーションが得られる。 文献からの最近の証拠は、予測のエントロピーの暗黙的または明示的な最大化を埋め込んだ損失関数は、最先端のキャリブレーション性能をもたらすことを示唆している。 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 特に、これらの損失は、ロジット距離の等式制約を課す線形ペナルティ(あるいはラグランジアン)の近似と見なすことができる。 このことは、そのような基礎となる等式制約の重要な制限であり、従って勾配が常に非形式的解に向かって進み、勾配に基づく最適化の際の判別性能とモデルのキャリブレーションの最良の妥協点に達するのを防いでいることを示している。 本稿では,不等式制約に基づく簡易かつ柔軟な一般化を提案し,ロジット距離に制御可能なマージンを課す。 画像分類,セマンティックセグメンテーション,NLPベンチマークの総合的な実験により,本手法は識別性能に影響を与えることなく,ネットワークキャリブレーションの観点で,これらのタスクに新たな最先端結果を設定することを示した。 コードはhttps://github.com/by-liu/MbLSで公開されている。

関連論文リスト

• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Suboptimality analysis of receding horizon quadratic control with unknown linear systems and its applications in learning-based control [14.279848166377668]
  モデル誤差, 終値関数誤差, 予測水平線とのトレードオフがLQ制御器の性能にどのように影響するかを解析する。 無限の地平線が望まれる場合、制御可能性指数よりも大きい有限予測地平線は、ほぼ最適性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-01-19T04:33:19Z)
• Calibrating Segmentation Networks with Margin-based Label Smoothing [19.669173092632]
  現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2022-09-09T20:21:03Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。