論文の概要: Tackling Noisy Labels with Network Parameter Additive Decomposition

• arxiv url: http://arxiv.org/abs/2403.13241v2
• Date: Sun, 28 Apr 2024 08:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 23:05:49.203702
• Title: Tackling Noisy Labels with Network Parameter Additive Decomposition
• Title（参考訳）: ネットワークパラメータ付加分解による雑音ラベルの処理
• Authors: Jingyi Wang, Xiaobo Xia, Long Lan, Xinghao Wu, Jun Yu, Wenjing Yang, Bo Han, Tongliang Liu,
• Abstract要約: ノイズラベルと戦うための暗記効果を利用した簡便で効果的な方法が、早期に停止している。 ネットワークパラメータに付加的な分解を行い、クリーンデータとラベルの誤りデータの記憶を分離する。 テストでは、一般化を強化するために$bmsigma$のみが使用される。
• 参考スコア（独自算出の注目度）: 69.89911040626119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given data with noisy labels, over-parameterized deep networks suffer overfitting mislabeled data, resulting in poor generalization. The memorization effect of deep networks shows that although the networks have the ability to memorize all noisy data, they would first memorize clean training data, and then gradually memorize mislabeled training data. A simple and effective method that exploits the memorization effect to combat noisy labels is early stopping. However, early stopping cannot distinguish the memorization of clean data and mislabeled data, resulting in the network still inevitably overfitting mislabeled data in the early training stage.In this paper, to decouple the memorization of clean data and mislabeled data, and further reduce the side effect of mislabeled data, we perform additive decomposition on network parameters. Namely, all parameters are additively decomposed into two groups, i.e., parameters $\mathbf{w}$ are decomposed as $\mathbf{w}=\bm{\sigma}+\bm{\gamma}$. Afterward, the parameters $\bm{\sigma}$ are considered to memorize clean data, while the parameters $\bm{\gamma}$ are considered to memorize mislabeled data. Benefiting from the memorization effect, the updates of the parameters $\bm{\sigma}$ are encouraged to fully memorize clean data in early training, and then discouraged with the increase of training epochs to reduce interference of mislabeled data. The updates of the parameters $\bm{\gamma}$ are the opposite. In testing, only the parameters $\bm{\sigma}$ are employed to enhance generalization. Extensive experiments on both simulated and real-world benchmarks confirm the superior performance of our method.
• Abstract（参考訳）: ノイズの多いラベルを持つデータを考えると、過度にパラメータ化されたディープネットワークは、誤ってラベル付けされたデータに過度に適合し、結果として一般化が不十分になる。 ディープネットワークの記憶効果は、ネットワークがすべてのノイズデータを記憶する能力を持っているにもかかわらず、まずクリーンなトレーニングデータを記憶し、次に徐々にラベルのずれたトレーニングデータを記憶することを示している。 ノイズラベルと戦うための暗記効果を利用した簡便で効果的な方法が、早期に停止している。 しかし、早期停止はクリーンデータの記憶と誤ラベルデータの記憶を区別できないため、未ラベルデータの記憶と誤ラベルデータの記憶を分離し、さらに誤ラベルデータの副作用を低減し、ネットワークパラメータに付加的な分解を行う。 すなわち、パラメータ $\mathbf{w}$ は $\mathbf{w}=\bm{\sigma}+\bm{\gamma}$ として分解される。 その後、パラメータ $\bm{\sigma}$ はクリーンなデータを記憶すると考えられ、パラメータ $\bm{\gamma}$ は間違ったラベル付きデータを記憶すると考えられている。 記憶効果から恩恵を受けるために、パラメータの$\bm{\sigma}$の更新は、初期のトレーニングでクリーンなデータを完全に記憶することを奨励し、そして、間違ったラベル付きデータの干渉を減らすために、トレーニングのエポックの増加を阻止する。 パラメータ $\bm{\gamma}$ の更新は反対である。 テストでは、一般化を強化するために$\bm{\sigma}$のパラメータのみが使用される。 シミュレーションと実世界のベンチマークによる大規模な実験により,本手法の優れた性能が確認された。

関連論文リスト

• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• MILD: Modeling the Instance Learning Dynamics for Learning with Noisy Labels [19.650299232829546]
  クリーンなデータを特定するために,Weibull混合モデルに基づく反復的選択手法を提案する。 特に、誤分類と暗記の間の遷移時間を通じて、各インスタンスの暗記の難しさを測定し、暗記する。 我々の戦略は既存の雑音ラベル学習方法より優れている。
  論文  参考訳（メタデータ） (2023-06-20T14:26:53Z)
• Leveraging Unlabeled Data to Track Memorization [15.4909376515404]
  本稿では,ニューラルネットワークの記憶度を計測する指標であるサセプティビリティー(Susceptibility)を提案する。 様々なアーキテクチャやデータセット上での記憶の追跡におけるメトリックの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-12-08T18:36:41Z)
• Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation [54.899751055620904]
  本研究では,実データ(実データ)とランダムラベル(ランダムデータ)のデータに対する,ターンオーバードロップアウトによる暗記現象,影響と暗記を効率的に推定する手法について検討する。 i) 実データと乱データの両方において、簡単な例(例えば、実データ)と難しい例(例えば、乱データ)の最適化は、ネットワークによって同時に行われる。
  論文  参考訳（メタデータ） (2021-12-16T11:34:23Z)
• INN: A Method Identifying Clean-annotated Samples via Consistency Effect in Deep Neural Networks [1.1470070927586016]
  ノイズのあるラベル付きトレーニングデータからクリーンなラベル付きデータを洗練するための新しい手法であるINNを導入する。 INN法は計算量が多いが、小型の戦略よりも安定で強力である。
  論文  参考訳（メタデータ） (2021-06-29T09:06:21Z)
• Instance Correction for Learning with Open-set Noisy Labels [145.06552420999986]
  オープンセットノイズラベルの処理にはサンプル選択方式を用いる。 廃棄されたデータは間違ったラベルで書かれており、トレーニングには参加していない。 廃棄されたデータのインスタンスを変更して、廃棄されたデータの予測をラベルに一致させる。
  論文  参考訳（メタデータ） (2021-06-01T13:05:55Z)
• A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels [49.990938653249415]
  本研究では,初期疑似ラベルを雑音ラベルデータとして用いる非ラベルデータに割り当て,雑音ラベルデータを用いて深層ニューラルネットワークを訓練する手法を提案する。 実験の結果,提案手法は,いくつかのベンチマークデータセットにおいて,最先端の手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-03-08T11:46:02Z)
• DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
  ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。 複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-02-18T06:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。