論文の概要: Learning with Noisy Labels via Sparse Regularization

• arxiv url: http://arxiv.org/abs/2108.00192v1
• Date: Sat, 31 Jul 2021 09:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-05 03:47:43.523589
• Title: Learning with Noisy Labels via Sparse Regularization
• Title（参考訳）: スパース正規化による雑音ラベルの学習
• Authors: Xiong Zhou, Xianming Liu, Chenyang Wang, Deming Zhai, Junjun Jiang, Xiangyang Ji
• Abstract要約: ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
• 参考スコア（独自算出の注目度）: 76.31104997491695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning with noisy labels is an important and challenging task for training accurate deep neural networks. Some commonly-used loss functions, such as Cross Entropy (CE), suffer from severe overfitting to noisy labels. Robust loss functions that satisfy the symmetric condition were tailored to remedy this problem, which however encounter the underfitting effect. In this paper, we theoretically prove that \textbf{any loss can be made robust to noisy labels} by restricting the network output to the set of permutations over a fixed vector. When the fixed vector is one-hot, we only need to constrain the output to be one-hot, which however produces zero gradients almost everywhere and thus makes gradient-based optimization difficult. In this work, we introduce the sparse regularization strategy to approximate the one-hot constraint, which is composed of network output sharpening operation that enforces the output distribution of a network to be sharp and the $\ell_p$-norm ($p\le 1$) regularization that promotes the network output to be sparse. This simple approach guarantees the robustness of arbitrary loss functions while not hindering the fitting ability. Experimental results demonstrate that our method can significantly improve the performance of commonly-used loss functions in the presence of noisy labels and class imbalance, and outperform the state-of-the-art methods. The code is available at https://github.com/hitcszx/lnl_sr.
• Abstract（参考訳）: ノイズの多いラベルによる学習は、正確なディープニューラルネットワークをトレーニングするための重要かつ困難なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 対称条件を満たすロバストな損失関数はこの問題を改善するために調整されたが、不適合効果に遭遇した。 本稿では,ネットワーク出力を固定ベクトル上の置換集合に制限することにより,\textbf{any loss to noise labels} を強固にできることを理論的に証明する。 固定ベクトルが 1-hot の場合、出力を 1-hot に制限するだけでよいが、ほとんどどこでも勾配がゼロとなり、勾配に基づく最適化が困難になる。 本研究では,ネットワークの出力分布をシャープに強制するネットワーク出力のシャープ化操作と,ネットワーク出力のスパース化を促進する$\ell_p$-norm(p\le 1$)正規化からなる1ホット制約を近似するスパース正規化戦略を導入する。 この単純なアプローチは、任意の損失関数のロバスト性を保証するが、適合能力を妨げることはない。 提案手法は,ノイズラベルやクラス不均衡が存在する場合,よく使われる損失関数の性能を著しく向上させ,最先端の手法よりも優れることを示す。 コードはhttps://github.com/hitcszx/lnl_srで入手できる。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
  大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
  論文  参考訳（メタデータ） (2023-06-08T18:38:55Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• An Exploration into why Output Regularization Mitigates Label Noise [0.0]
  騒音のロバストな損失は、ラベルノイズを扱うためのより有望なアプローチの1つである。 ラベル平滑化やエントロピーといった出力正規化項を含む損失は、正規化係数が無限大になるにつれて対称になることを示す。
  論文  参考訳（メタデータ） (2021-04-26T11:16:30Z)
• Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
  一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。 アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-24T08:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。