Fugu-MT 論文翻訳(概要): Self-paced Resistance Learning against Overfitting on Noisy Labels

論文の概要: Self-paced Resistance Learning against Overfitting on Noisy Labels

arxiv url: http://arxiv.org/abs/2105.03059v1
Date: Fri, 7 May 2021 04:17:20 GMT
ステータス: 処理完了
システム内更新日: 2021-05-10 12:18:29.592838
Title: Self-paced Resistance Learning against Overfitting on Noisy Labels
Title（参考訳）: 雑音ラベルのオーバーフィッティングに対する自己ペースト抵抗学習
Authors: Xiaoshuang Shi, Zhenhua Guo, Fuyong Xing, Yun Liang, Xiaofeng Zhu
Abstract要約: ディープニューラルネットワークは、まずおそらく正しいラベルデータを記憶し、次に破損したラベルサンプルを記憶する。破損したラベルに抵抗する新規かつ簡便な自己ペース抵抗フレームワークを提案する。
参考スコア（独自算出の注目度）: 25.916498598323667
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Noisy labels composed of correct and corrupted ones are pervasive in practice. They might significantly deteriorate the performance of convolutional neural networks (CNNs), because CNNs are easily overfitted on corrupted labels. To address this issue, inspired by an observation, deep neural networks might first memorize the probably correct-label data and then corrupt-label samples, we propose a novel yet simple self-paced resistance framework to resist corrupted labels, without using any clean validation data. The proposed framework first utilizes the memorization effect of CNNs to learn a curriculum, which contains confident samples and provides meaningful supervision for other training samples. Then it adopts selected confident samples and a proposed resistance loss to update model parameters; the resistance loss tends to smooth model parameters' update or attain equivalent prediction over each class, thereby resisting model overfitting on corrupted labels. Finally, we unify these two modules into a single loss function and optimize it in an alternative learning. Extensive experiments demonstrate the significantly superior performance of the proposed framework over recent state-of-the-art methods on noisy-label data. Source codes of the proposed method are available on https://github.com/xsshi2015/Self-paced-Resistance-Learning.
Abstract（参考訳）: 正しくて破損したラベルからなるノイズラベルは、実際には広く普及している。畳み込みニューラルネットワーク(CNN)の性能が著しく低下する可能性がある。この問題に対処するために,深層ニューラルネットワークはまず,おそらく正しいラベルデータを記憶し,次に腐敗したラベルサンプルを記憶するかもしれないという観測結果に触発され,クリーンな検証データを用いずに,破損したラベルに抵抗する、新しくてシンプルな自己ペースト抵抗フレームワークを提案する。提案フレームワークは、まずCNNの記憶効果を利用して、信頼性のあるサンプルを含むカリキュラムを学習し、他のトレーニングサンプルに対して有意義な監督を提供する。抵抗損失はモデルパラメータの更新を円滑にしたり、各クラスに対して等価な予測を得られる傾向があり、結果として、破損したラベルに過剰に適合するモデルに抵抗する。最後に,これら2つのモジュールを単一損失関数に統合し,代替学習で最適化する。広汎な実験により,近年の雑音ラベルデータに対する最先端手法よりも,提案手法の優れた性能が示された。提案手法のソースコードはhttps://github.com/xsshi2015/self-paced-resistance-learningで入手できる。

関連論文リスト

Verifix: Post-Training Correction to Improve Label Noise Robustness with Verified Samples [9.91998873101083]
トレーニング後の補正は、初期訓練後のモデルパラメータを調整し、ラベルノイズを軽減する。 Verifixは、小さな検証済みのデータセットを利用して、1回の更新でモデルの重みを補正する新しいアルゴリズムである。 25%の合成汚職を伴うCIFARデータセットの実験では、平均して7.36%の一般化改善が見られた。
論文参考訳（メタデータ） (2024-03-13T15:32:08Z)
Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
論文参考訳（メタデータ） (2024-01-15T03:33:39Z)
Neural Networks Against (and For) Self-Training: Classification with Small Labeled and Large Unlabeled Sets [11.385682758047775]
自己学習の弱点の1つは意味的ドリフト問題である。擬似ラベルの役割を再構築し,階層的な情報順序を創出する。自己学習における重要なステップは、自信の予測を使用して、最適な候補の擬似ラベルを選択することである。
論文参考訳（メタデータ） (2023-12-31T19:25:34Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文参考訳（メタデータ） (2023-10-16T14:43:27Z)
Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文参考訳（メタデータ） (2023-01-02T07:13:28Z)
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels [1.9508698179748525]
本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
論文参考訳（メタデータ） (2022-05-29T14:19:49Z)
LOPS: Learning Order Inspired Pseudo-Label Selection for Weakly Supervised Text Classification [28.37907856670151]
擬似ラベルは性質上ノイズが多いため、正しいラベルを選択すると性能が向上する可能性がある。本稿では,サンプルの学習順序を考慮に入れた新しい擬似ラベル選択手法LOPSを提案する。 LOPSは、既存の弱い教師付きテキスト分類手法のほとんどに対して、強力なパフォーマンスブーストプラグインと見なすことができる。
論文参考訳（メタデータ） (2022-05-25T06:46:48Z)
UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
論文参考訳（メタデータ） (2022-03-28T07:36:36Z)
Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文参考訳（メタデータ） (2022-02-27T23:06:31Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。