論文の概要: Suppressing Mislabeled Data via Grouping and Self-Attention

• arxiv url: http://arxiv.org/abs/2010.15603v1
• Date: Thu, 29 Oct 2020 13:54:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 23:01:28.488331
• Title: Suppressing Mislabeled Data via Grouping and Self-Attention
• Title（参考訳）: グループ化と自己認識による誤ラベルデータの抑制
• Authors: Xiaojiang Peng, Kai Wang, Zhaoyang Zeng, Qing Li, Jianfei Yang and Yu Qiao
• Abstract要約: ディープネットワークは大規模クリーンなデータに対して優れた結果を得るが、ノイズのあるラベルから学習すると著しく劣化する。 本稿では,概念的にシンプルだが効率的な学習ブロックを提案し,これをAFM(Attentive Feature Mixup)と呼ぶ。 クリーンなサンプルにもっと注意を払うことができ、小さなグループでのサンプルインタラクションを通じて、ラベルを間違えることが少なくなります。
• 参考スコア（独自算出の注目度）: 60.14212694011875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep networks achieve excellent results on large-scale clean data but degrade significantly when learning from noisy labels. To suppressing the impact of mislabeled data, this paper proposes a conceptually simple yet efficient training block, termed as Attentive Feature Mixup (AFM), which allows paying more attention to clean samples and less to mislabeled ones via sample interactions in small groups. Specifically, this plug-and-play AFM first leverages a \textit{group-to-attend} module to construct groups and assign attention weights for group-wise samples, and then uses a \textit{mixup} module with the attention weights to interpolate massive noisy-suppressed samples. The AFM has several appealing benefits for noise-robust deep learning. (i) It does not rely on any assumptions and extra clean subset. (ii) With massive interpolations, the ratio of useless samples is reduced dramatically compared to the original noisy ratio. (iii) \pxj{It jointly optimizes the interpolation weights with classifiers, suppressing the influence of mislabeled data via low attention weights. (iv) It partially inherits the vicinal risk minimization of mixup to alleviate over-fitting while improves it by sampling fewer feature-target vectors around mislabeled data from the mixup vicinal distribution.} Extensive experiments demonstrate that AFM yields state-of-the-art results on two challenging real-world noisy datasets: Food101N and Clothing1M. The code will be available at https://github.com/kaiwang960112/AFM.
• Abstract（参考訳）: ディープネットワークは大規模クリーンデータに対して優れた結果を得るが、ノイズラベルから学習すると著しく劣化する。 誤ラベルデータの影響を抑えるため,本論文では,よりクリーンなサンプルに注意を払って,小さなグループでのサンプルインタラクションによる誤ラベルデータを減らすことを目的とした,概念的にシンプルで効率的なトレーニングブロック(AFM)を提案する。 具体的には、このプラグ・アンド・プレイ afm はまず \textit{group-to-attend} モジュールを利用してグループを構築し、グループ毎のサンプルに対して注意重みを割り当て、その後、注目重みを持つ \textit{mixup} モジュールを使用して巨大なノイズ抑制サンプルを補間する。 AFMはノイズロスト深層学習にいくつかの魅力的な利点がある。 (i)いかなる仮定や余分なクリーン部分集合にも依存しない。 (ii) 大量の補間により, 無用試料の比は, 従来の雑音比に比べて劇的に減少する。 (iii) \pxj{It は分類器との補間重みを協調的に最適化し、低注意重みによる誤ラベルデータの影響を抑える。 (iv)ミックスアップのリスク最小化を部分的に継承し、過剰フィッティングを緩和するとともに、ミックスアップビクタス分布から誤ラベルデータ周辺の特徴量ベクトルをサンプリングすることで改善する。 大規模な実験により、AFMは2つの挑戦的な実世界のノイズデータセットであるFood101NとCloting1Mに対して、最先端の結果が得られることが示された。 コードはhttps://github.com/kaiwang960112/AFMで入手できる。

関連論文リスト

• Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
  ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。 トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。 ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-22T04:49:39Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise [4.90148689564172]
  実世界のデータセットには、データセットのどのクラスにも意味のないノイズの多いラベルサンプルが含まれている。 最先端の手法の多くは、IDラベル付きノイズサンプルを半教師付き学習のためのラベルなしデータとして利用する。 自己指導型トレーニングの利点を生かして,すべてのトレーニングデータからの情報を活用することを提案する。
  論文  参考訳（メタデータ） (2023-08-13T23:33:33Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Noisy Feature Mixup [42.056684988818766]
  NFM(Noisy Feature Mixup)は,データ拡張のための安価で効果的な手法である。 NFMは特別な場合として混合と多様体の混合を含むが、決定境界の平滑化など、さらなる利点がある。 NFMでトレーニングした残差ネットワークと視覚変換器は、クリーンデータにおける予測精度と各種データに対するロバスト性との間に良好なトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-05T17:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。