論文の概要: $ε$-Softmax: Approximating One-Hot Vectors for Mitigating Label Noise

• arxiv url: http://arxiv.org/abs/2508.02387v1
• Date: Mon, 04 Aug 2025 13:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.348045
• Title: $ε$-Softmax: Approximating One-Hot Vectors for Mitigating Label Noise
• Title（参考訳）: $ε$-Softmax:ラベルノイズの緩和のための1ホットベクトルの近似
• Authors: Jialiang Wang, Xiong Zhou, Deming Zhai, Junjun Jiang, Xiangyang Ji, Xianming Liu,
• Abstract要約: ノイズラベルは、正確なディープニューラルネットワークをトレーニングする上で共通の課題となる。 我々は,ソフトマックス層の出力を制御可能な誤差で1ホットベクトルに近似させる,$epsilon$-softmaxを提案する。 理論的には、$epsilon$-softmaxは、ほぼ任意の損失関数に対して制御可能な過剰リスクを持つ耐雑音学習を実現することができる。
• 参考スコア（独自算出の注目度）: 99.91399796174602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Noisy labels pose a common challenge for training accurate deep neural networks. To mitigate label noise, prior studies have proposed various robust loss functions to achieve noise tolerance in the presence of label noise, particularly symmetric losses. However, they usually suffer from the underfitting issue due to the overly strict symmetric condition. In this work, we propose a simple yet effective approach for relaxing the symmetric condition, namely $\epsilon$-softmax, which simply modifies the outputs of the softmax layer to approximate one-hot vectors with a controllable error $\epsilon$. Essentially, $\epsilon$-softmax not only acts as an alternative for the softmax layer, but also implicitly plays the crucial role in modifying the loss function. We prove theoretically that $\epsilon$-softmax can achieve noise-tolerant learning with controllable excess risk bound for almost any loss function. Recognizing that $\epsilon$-softmax-enhanced losses may slightly reduce fitting ability on clean datasets, we further incorporate them with one symmetric loss, thereby achieving a better trade-off between robustness and effective learning. Extensive experiments demonstrate the superiority of our method in mitigating synthetic and real-world label noise. The code is available at https://github.com/cswjl/eps-softmax.
• Abstract（参考訳）: ノイズラベルは、正確なディープニューラルネットワークをトレーニングする上で共通の課題となる。 ラベルノイズを緩和するために、ラベルノイズ、特に対称損失の存在下での耐雑音性を実現するための様々なロバストな損失関数が提案されている。 しかし、過度に厳密な対称状態のため、通常は不適合な問題に悩まされる。 そこで本研究では, ソフトマックス層の出力を, 制御可能な誤差$\epsilon$の1ホットベクトルに近似させる, 対称条件を緩和するための, 単純かつ効果的なアプローチとして, $\epsilon$-softmaxを提案する。 基本的に、$\epsilon$-softmaxはソフトマックス層の代替となるだけでなく、損失関数を変更する上でも暗黙的に重要な役割を果たす。 理論的には、$\epsilon$-softmaxは、ほぼ任意の損失関数に対して制御可能な過剰リスクを持つ耐雑音学習を実現することができる。 $\epsilon$-softmaxで強化された損失は、クリーンデータセットの適合性をわずかに低下させる可能性があることを認識して、さらに1つの対称的な損失を伴って、堅牢性と効果的な学習のトレードオフをより良く達成する。 広汎な実験により, 合成および実世界のラベルノイズを緩和する手法の優位性を実証した。 コードはhttps://github.com/cswjl/eps-softmax.comで公開されている。

関連論文リスト

• Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness [74.18546828528298]
  SignSGD with Majority Votingは,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappaka ppakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa -1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappappapa-1right,Kappaを用いて,複雑性の全範囲で堅牢に動作することを示す。
  論文  参考訳（メタデータ） (2025-02-11T19:54:11Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
  Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。 既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。 そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:57:18Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
  非定常環境におけるオンライン凸最適化について検討する。 パフォーマンス指標として動的後悔を選択します。 本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-07T14:10:57Z)
• Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
  一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。 アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-24T08:25:46Z)
• Being Bayesian about Categorical Probability [6.875312133832079]
  クラスラベルに対する分類的確率の確率変数を考える。 この枠組みでは、先行分布は観測されたラベルに固有の推定ノイズを明示的にモデル化する。 本手法は,計算オーバーヘッドが無視できるプラグアンドプレイ損失関数として実装することができる。
  論文  参考訳（メタデータ） (2020-02-19T02:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。