論文の概要: MaxSup: Overcoming Representation Collapse in Label Smoothing

• arxiv url: http://arxiv.org/abs/2502.15798v2
• Date: Mon, 02 Jun 2025 17:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.108342
• Title: MaxSup: Overcoming Representation Collapse in Label Smoothing
• Title（参考訳）: MaxSup:ラベルの平滑化における表現の崩壊を克服する
• Authors: Yuxuan Zhou, Heng Li, Zhi-Qi Cheng, Xudong Yan, Yifei Dong, Mario Fritz, Margret Keuper,
• Abstract要約: ラベル平滑化(LS)は、ニューラルネットワーク予測における過信を減らすために広く採用されている。 LSコンパクトは、過剰に厳密なクラスタに表現を特徴付け、クラス内の多様性を希薄にする。 正しい予測と誤予測の両方に一様正則化を適用するMax Suppression(MaxSup)を提案する。
• 参考スコア（独自算出の注目度）: 52.66247931969715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label Smoothing (LS) is widely adopted to reduce overconfidence in neural network predictions and improve generalization. Despite these benefits, recent studies reveal two critical issues with LS. First, LS induces overconfidence in misclassified samples. Second, it compacts feature representations into overly tight clusters, diluting intra-class diversity, although the precise cause of this phenomenon remained elusive. In this paper, we analytically decompose the LS-induced loss, exposing two key terms: (i) a regularization term that dampens overconfidence only when the prediction is correct, and (ii) an error-amplification term that arises under misclassifications. This latter term compels the network to reinforce incorrect predictions with undue certainty, exacerbating representation collapse. To address these shortcomings, we propose Max Suppression (MaxSup), which applies uniform regularization to both correct and incorrect predictions by penalizing the top-1 logit rather than the ground-truth logit. Through extensive feature-space analyses, we show that MaxSup restores intra-class variation and sharpens inter-class boundaries. Experiments on large-scale image classification and multiple downstream tasks confirm that MaxSup is a more robust alternative to LS, consistently reducing overconfidence while preserving richer feature representations. Code is available at: https://github.com/ZhouYuxuanYX/Maximum-Suppression-Regularization
• Abstract（参考訳）: ラベル平滑化(LS)は、ニューラルネットワークの予測における過信を減らし、一般化を改善するために広く採用されている。 これらの利点にもかかわらず、最近の研究はLSの2つの重要な問題を明らかにしている。 まず、LSは誤って分類されたサンプルの過剰な自信を誘導する。 第二に、非常に厳密なクラスタに特徴表現をコンパクト化し、クラス内の多様性を弱めるが、この現象の正確な原因は解明されていない。 本稿では、LSによる損失を解析的に分解し、2つの重要な項を露呈する。 一 予測が正しい場合に限って過信を和らげる正規化用語 (ii)誤分類の下で発生する誤り増幅用語。 この後者の項は、誤った予測を不確かさで補強するためにネットワークを補完し、表現の崩壊を悪化させる。 これらの欠点に対処するため,本論文では,接地トラスロジットではなく,トップ1ロジットをペナル化することにより,正しい予測と誤予測の両方に一様正則化を適用するMax Suppression(MaxSup)を提案する。 広範な特徴空間解析により,MaxSupはクラス内変動を復元し,クラス間境界を鋭くすることを示す。 大規模な画像分類と複数のダウンストリームタスクの実験は、MaxSupがLSのより堅牢な代替品であることを確認し、よりリッチな特徴表現を維持しながら、常に過剰な自信を減らしている。 https://github.com/ZhouYuxuanYX/Maximum-Suppression-Regularization

関連論文リスト

• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Improved Feature Generating Framework for Transductive Zero-shot Learning [31.656888766677664]
  特徴生成適応ネットワークは、目に見えないクラスの高品質な表現を生成するために強力な生成モデルとして登場した。 ゼロショット学習(TZSL)の枠組みにおける未確認クラス事前の重要影響について考察する。 PFA学習(Pseudo-conditional Feature Adversarial)とVER学習(VER)の2つの新しいコンポーネントを組み込んだ改良型特徴生成フレームワークI-VAEGANを紹介する。
  論文  参考訳（メタデータ） (2024-12-24T08:42:16Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It [6.19039575840278]
  ラベルスムーシング(LS)はニューラルネットワークをトレーニングするための一般的な正規化手法である。 LSは、正誤予測の不確実なランク順を格下げする。 我々は、ロジトレベルの勾配を分析することによって、この振る舞いを説明する。
  論文  参考訳（メタデータ） (2024-03-19T06:46:24Z)
• Classification under Nuisance Parameters and Generalized Label Shift in Likelihood-Free Inference [3.507509142413452]
  本稿では,不確実性定量化のための新しい手法を提案する。 提案手法は,ドメイン適応能力を持つ事前学習型分類器を効果的に提供し,高出力を維持しながら有効な予測セットを返却する。 現実的な力学モデルから得られたデータを用いて、生物学と天体物理学における2つの挑戦的な科学的問題に対して、その性能を実証する。
  論文  参考訳（メタデータ） (2024-02-08T00:12:18Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration [21.63888208442176]
  ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2021-11-30T14:21:47Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。