論文の概要: ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels

• arxiv url: http://arxiv.org/abs/2603.07166v1
• Date: Sat, 07 Mar 2026 12:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.987016
• Title: ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels
• Title（参考訳）: ACD-U: 雑音ラベルを用いた頑健な学習のための機械アンラーニングによる非対称協調学習
• Authors: Reo Fukunaga, Soh Yoshida, Mitsuji Muneyasu,
• Abstract要約: 深層ニューラルネットワークはトレーニング中に誤ったラベルを記憶する傾向があるため、一般化性が低下する。 本稿では、異なるモデルアーキテクチャを用いて機械学習を組み込んだ非対称なコティーチングフレームワークである、異なるアーキテクチャ(ACD)を用いた非対称コティーチングを提案する。 ACD-Uは2つのコアメカニズムを通じてこの制限に対処する。第一に、その非対称なコティーチングペアは、畳み込みニューラルネットワーク(CNN)を備えたコントラッシブ言語イメージ事前学習(CLIP)プリトレーニング(英語版))である。 第二に、選択的アンラーニングは、損失軌跡解析とCLIによる誤記憶標本の同定により、ホット後の誤り訂正を可能にする
• 参考スコア（独自算出の注目度）: 2.0391237204597363
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks are prone to memorizing incorrect labels during training, which degrades their generalizability. Although recent methods have combined sample selection with semi-supervised learning (SSL) to exploit the memorization effect -- where networks learn from clean data before noisy data -- they cannot correct selection errors once a sample is misclassified. To overcome this, we propose asymmetric co-teaching with different architectures (ACD)-U, an asymmetric co-teaching framework that uses different model architectures and incorporates machine unlearning. ACD-U addresses this limitation through two core mechanisms. First, its asymmetric co-teaching pairs a contrastive language-image pretraining (CLIP)-pretrained vision Transformer with a convolutional neural network (CNN), leveraging their complementary learning behaviors: the pretrained model provides stable predictions, whereas the CNN adapts throughout training. This asymmetry, where the vision Transformer is trained only on clean samples and the CNN is trained through SSL, effectively mitigates confirmation bias. Second, selective unlearning enables post-hoc error correction by identifying incorrectly memorized samples through loss trajectory analysis and CLIP consistency checks, and then removing their influence via Kullback--Leibler divergence-based forgetting. This approach shifts the learning paradigm from passive error avoidance to active error correction. Experiments on synthetic and real-world noisy datasets, including CIFAR-10/100, CIFAR-N, WebVision, Clothing1M, and Red Mini-ImageNet, demonstrate state-of-the-art performance, particularly in high-noise regimes and under instance-dependent noise. The code is publicly available at https://github.com/meruemon/ACD-U.
• Abstract（参考訳）: 深層ニューラルネットワークはトレーニング中に誤ったラベルを記憶する傾向があるため、一般化性が低下する。 最近の手法では、サンプル選択と半教師付き学習(SSL)を組み合わせることで、暗記効果(ノイズの多いデータの前にクリーンなデータから学習するネットワーク)を活用しているが、サンプルが誤って分類されると、選択エラーを修正することはできない。 そこで本研究では,異なるモデルアーキテクチャを用いた非対称協調学習フレームワークである,異なるアーキテクチャ (ACD)-U を用いた非対称協調学習を提案する。 ACD-Uはこの制限を2つのコアメカニズムを通して解決する。 第一に、その非対称なコティーチングペアは、コンボリューショナルニューラルネットワーク(CNN)を用いたコントラスト言語イメージ事前学習(CLIP)プリトレーニング(pretrained language-image pretraining)、コンボリューショナルニューラルネットワーク(CNN)トランスフォーマー(Transformer)であり、それらの補完的な学習行動を活用する。 この非対称性では、視覚変換器はクリーンサンプルのみに基づいてトレーニングされ、CNNはSSLを通じてトレーニングされ、事実上確認バイアスを緩和する。 第二に、選択的アンラーニングは、損失軌跡分析とCLIP整合性チェックを通じて不正に記憶されたサンプルを識別し、その後、Kullback-Leiblerの発散に基づく忘れ込みによって影響を取り除くことで、ホット後のエラー修正を可能にする。 このアプローチは、学習パラダイムをパッシブエラー回避からアクティブエラー修正にシフトさせる。 CIFAR-10/100, CIFAR-N, WebVision, Clothing1M, Red Mini-ImageNetなどの合成および実世界のノイズデータセットの実験は、特にハイノイズやインスタンス依存ノイズにおける最先端のパフォーマンスを実証している。 コードはhttps://github.com/meruemon/ACD-U.comで公開されている。

関連論文リスト

• Initialization Matters: Unraveling the Impact of Pre-Training on Federated Learning [21.440470901377182]
  事前訓練されたモデルの初期化は、機械学習の標準的なプラクティスになりつつある。 我々は,2層畳み込みニューラルネットワーク(CNN)のクラスについて検討し,FedAvgでトレーニングしたネットワークのトレーニングエラー収束とテストエラーのバウンダリを提供する。
  論文  参考訳（メタデータ） (2025-02-11T23:53:16Z)
• AsyCo: An Asymmetric Dual-task Co-training Model for Partial-label Learning [53.97072488455662]
  自己学習モデルは、最先端のパフォーマンスを実現するが、誤って曖昧なインスタンスによって生じるエラーの蓄積問題に悩まされる。 本稿では,2つのネットワーク,すなわち曖昧なネットワークと補助的なネットワークに,異なる視点から明確に学習するよう強制する,AsyCoという非対称なデュアルタスク協調学習モデルを提案する。 AsyCoの有効性を実証するため、一様および一様にラベル付けされた部分ラベル付きデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-07-21T02:08:51Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
  ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。 現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。 本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T08:16:31Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。