論文の概要: Learning with Noisy labels via Self-supervised Adversarial Noisy Masking
- arxiv url: http://arxiv.org/abs/2302.06805v2
- Date: Wed, 15 Feb 2023 05:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-16 11:24:33.899499
- Title: Learning with Noisy labels via Self-supervised Adversarial Noisy Masking
- Title（参考訳）: 自己教師型雑音マスキングによる雑音ラベルの学習
- Authors: Yuanpeng Tu, Boshen Zhang, Yuxi Li, Liang Liu, Jian Li, Jiangning
Zhang, Yabiao Wang, Chengjie Wang, Cai Rong Zhao
- Abstract要約: 対向雑音マスキングと呼ばれる新しいトレーニング手法を提案する。
入力データとラベルを同時に調整し、ノイズの多いサンプルが過度に収まらないようにする。
合成および実世界のノイズデータセットの両方でテストされる。
- 参考スコア（独自算出の注目度）: 33.87292143223425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collecting large-scale datasets is crucial for training deep models,
annotating the data, however, inevitably yields noisy labels, which poses
challenges to deep learning algorithms. Previous efforts tend to mitigate this
problem via identifying and removing noisy samples or correcting their labels
according to the statistical properties (e.g., loss values) among training
samples. In this paper, we aim to tackle this problem from a new perspective,
delving into the deep feature maps, we empirically find that models trained
with clean and mislabeled samples manifest distinguishable activation feature
distributions. From this observation, a novel robust training approach termed
adversarial noisy masking is proposed. The idea is to regularize deep features
with a label quality guided masking scheme, which adaptively modulates the
input data and label simultaneously, preventing the model to overfit noisy
samples. Further, an auxiliary task is designed to reconstruct input data, it
naturally provides noise-free self-supervised signals to reinforce the
generalization ability of deep models. The proposed method is simple and
flexible, it is tested on both synthetic and real-world noisy datasets, where
significant improvements are achieved over previous state-of-the-art methods.
- Abstract（参考訳）: 大規模なデータセットの収集は、深層モデルのトレーニングに不可欠であり、データを注釈付けすることは必然的にノイズのラベルを生み出し、ディープラーニングアルゴリズムに課題をもたらす。
以前の取り組みでは、ノイズのあるサンプルを特定し除去したり、トレーニングサンプル内の統計的特性(損失値など)に従ってラベルを修正したりすることでこの問題を軽減する傾向がある。
本稿では,新しい視点からこの問題に取り組み,深い特徴マップを考察し,クリーンで誤ったラベル付きサンプルで訓練されたモデルが識別可能なアクティベーション特徴分布を示すことを実証的に発見する。
この観察から,敵対的ノイズマスキングと呼ばれる新しいロバストなトレーニング手法を提案する。
そのアイデアは、入力データとラベルを同時に適応的に変調するラベル品質ガイドマスクスキームで深い機能を調整し、ノイズの多いサンプルを過度に適合させることである。
さらに、入力データを再構成する補助タスクを設計し、自然にノイズのない自己教師付き信号を提供し、深層モデルの一般化能力を補強する。
提案手法は単純でフレキシブルであり,従来の最先端手法よりも大幅に改善された合成および実世界のノイズデータセットで検証される。
関連論文リスト
- Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。
平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。
また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
論文 参考訳（メタデータ） (2024-07-03T03:10:24Z) - Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。
手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。
本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
論文 参考訳（メタデータ） (2024-04-10T07:34:37Z) - Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-10-24T20:28:59Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - Robust Feature Learning Against Noisy Labels [0.2082426271304908]
ミスラベルされたサンプルはモデルの一般化を著しく低下させることができる。
ノイズラベルによる監督の負の影響を最小限に抑えるために、プログレッシブな自己ブートストラッピングが導入される。
実験結果から,本手法は強騒音ラベル下でモデルロバスト性を効果的かつ効果的に向上できることが示唆された。
論文 参考訳（メタデータ） (2023-07-10T02:55:35Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Learning from Noisy Labels with Coarse-to-Fine Sample Credibility
Modeling [22.62790706276081]
ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。
従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。
本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
論文 参考訳（メタデータ） (2022-08-23T02:06:38Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2021-11-22T15:49:20Z) - Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。
これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。
結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
論文 参考訳（メタデータ） (2021-04-17T22:49:12Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z) - Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
極値理論に基づく新しいアイデンティティ分離法を提案する。
重なり合うラベルノイズによる問題を大幅に低減する。
制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2020-07-14T12:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。