論文の概要: Dynamic-Aware Loss for Learning with Label Noise

• arxiv url: http://arxiv.org/abs/2303.11562v1
• Date: Tue, 21 Mar 2023 03:05:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 16:49:04.893186
• Title: Dynamic-Aware Loss for Learning with Label Noise
• Title（参考訳）: ラベル雑音学習のための動的アウェアロス
• Authors: Xiu-Chuan Li, Xiaobo Xia, Fei Zhu, Tongliang Liu, Xu-Yao Zhang, Cheng-Lin Liu
• Abstract要約: ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
• 参考スコア（独自算出の注目度）: 73.75129479936302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label noise poses a serious threat to deep neural networks (DNNs). Employing robust loss function which reconciles fitting ability with robustness is a simple but effective strategy to handle this problem. However, the widely-used static trade-off between these two factors contradicts the dynamic nature of DNNs learning with label noise, leading to inferior performance. Therefore, we propose a dynamics-aware loss (DAL) to solve this problem. Considering that DNNs tend to first learn generalized patterns, then gradually overfit label noise, DAL strengthens the fitting ability initially, then gradually increases the weight of robustness. Moreover, at the later stage, we let DNNs put more emphasis on easy examples which are more likely to be correctly labeled than hard ones and introduce a bootstrapping term to further reduce the negative impact of label noise. Both the detailed theoretical analyses and extensive experimental results demonstrate the superiority of our method.
• Abstract（参考訳）: ラベルノイズはディープニューラルネットワーク(DNN)に深刻な脅威をもたらす。 堅牢性で適合性を調整できるロバスト損失関数を採用することは、この問題に対処するための単純だが効果的な戦略である。 しかし、これらの2つの要因間の広く使われている静的トレードオフは、ラベルノイズによって学習されるDNNの動的性質と矛盾し、性能が低下する。 そこで本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 DNNはまず一般化されたパターンを学習し、ラベルノイズを徐々に過度にオーバーフィットする傾向があるので、DALは最初は適合性を強化し、その後徐々に頑丈さの重みを増す。 さらに、後段では、DNNは硬いものよりも正確にラベル付けされる可能性が高い簡単な例に重点を置いて、ラベルノイズの負の影響をさらに低減するためにブートストラップ項を導入する。 詳細な理論解析と広範な実験結果の両方が本手法の優越性を示している。

関連論文リスト

• Stochastic Restarting to Overcome Overfitting in Neural Networks with Noisy Labels [2.048226951354646]
  本研究では,チェックポイントから再起動することで,ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングする際の一般化性能が大幅に向上することを示す。 本研究では, 統計物理学分野において, ターゲットの探索を効率的に行うために, 再起動に基づく手法を開発した。 提案手法の重要な側面は,実装の容易さと他のメソッドとの互換性でありながら,性能が著しく向上している点である。
  論文  参考訳（メタデータ） (2024-06-01T10:45:41Z)
• Robust Training of Graph Neural Networks via Noise Governance [27.767913371777247]
  グラフニューラルネットワーク(GNN)は、半教師付き学習のモデルとして広く使われている。 本稿では,グラフノード上のラベルがうるさいだけでなく,難易度も低い重要なシナリオについて考察する。 本稿では,ラベルノイズを明示的に制御する学習により,ロバスト性を向上する新しいRTGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-12T09:25:32Z)
• Understanding and Improving Early Stopping for Learning with Noisy Labels [63.0730063791198]
  ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-30T07:18:00Z)
• Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
  我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。 トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。 CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-01T07:59:03Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。