論文の概要: Learning from Noisy Labels with Contrastive Co-Transformer

• arxiv url: http://arxiv.org/abs/2503.03042v1
• Date: Tue, 04 Mar 2025 22:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:11.846432
• Title: Learning from Noisy Labels with Contrastive Co-Transformer
• Title（参考訳）: コントラスト変換器を用いた雑音ラベルからの学習
• Authors: Yan Han, Soumava Kumar Roy, Mehrtash Harandi, Lars Petersson,
• Abstract要約: CNNはノイズラベルを持つサンプルの存在に過度に適合する傾向にある。 Contrastive Co-Transformerフレームワークを導入し、シンプルで高速であるが、大きなマージンで性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 34.57067426872957
• License:
• Abstract: Deep learning with noisy labels is an interesting challenge in weakly supervised learning. Despite their significant learning capacity, CNNs have a tendency to overfit in the presence of samples with noisy labels. Alleviating this issue, the well known Co-Training framework is used as a fundamental basis for our work. In this paper, we introduce a Contrastive Co-Transformer framework, which is simple and fast, yet able to improve the performance by a large margin compared to the state-of-the-art approaches. We argue the robustness of transformers when dealing with label noise. Our Contrastive Co-Transformer approach is able to utilize all samples in the dataset, irrespective of whether they are clean or noisy. Transformers are trained by a combination of contrastive loss and classification loss. Extensive experimental results on corrupted data from six standard benchmark datasets including Clothing1M, demonstrate that our Contrastive Co-Transformer is superior to existing state-of-the-art methods.
• Abstract（参考訳）: ノイズの多いラベルによるディープラーニングは、弱い教師付き学習において興味深い課題である。 学習能力が高いにもかかわらず、CNNはノイズのあるラベルを持つサンプルの存在に過度に適合する傾向にある。 この問題を緩和するために、よく知られたco-Trainingフレームワークが、私たちの仕事の基本的な基盤として使われています。 本稿では,Contrastive Co-Transformerフレームワークについて述べる。 ラベルノイズに対処する際の変圧器の堅牢性について論じる。 当社のContrastive Co-Transformerアプローチでは,クリーンかノイズかに関わらず,データセット内のすべてのサンプルを利用することができます。 トランスフォーマーは、対照的な損失と分類損失の組み合わせによって訓練される。 Clothing1Mを含む6つの標準ベンチマークデータセットの破損データに対する大規模な実験結果は、Contrastive Co-Transformerが既存の最先端手法よりも優れていることを示している。

関連論文リスト

• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• Exploring the Robustness of In-Context Learning with Noisy Labels [5.6196021491757495]
  実験では,トランスフォーマーは様々な種類のノイズに対して顕著な耐性を示すことを示す。 また、トレーニングセットにノイズを導入することは、データ拡張の形式に似ており、推論中にそのような堅牢性を高めるかどうかについても検討する。
  論文  参考訳（メタデータ） (2024-04-28T14:05:23Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• FedRN: Exploiting k-Reliable Neighbors Towards Robust Federated Learning [15.101940747707701]
  FedRNは、データの専門性や類似性が高いk信頼性の高い隣人を悪用している。 既存の頑健なトレーニング手法と比較して,FedRNはノイズラベルの存在下でテスト精度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-05-03T05:09:08Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Modelling Adversarial Noise for Adversarial Defense [96.56200586800219]
  敵の防御は、通常、敵の音を除去したり、敵の頑強な目標モデルを訓練するために、敵の例を活用することに焦点を当てる。 逆データと自然データの関係は、逆データからクリーンデータを推測し、最終的な正しい予測を得るのに役立ちます。 本研究では, ラベル空間の遷移関係を学習するために, 逆方向の雑音をモデル化し, 逆方向の精度を向上させることを目的とした。
  論文  参考訳（メタデータ） (2021-09-21T01:13:26Z)
• A Framework using Contrastive Learning for Classification with Noisy Labels [1.2891210250935146]
  雑音ラベルの存在下で画像分類を行うために,コントラスト学習を事前学習タスクとして利用するフレームワークを提案する。 擬似ラベル, ガウス混合モデルを用いたサンプル選択, 重み付き教師付きコントラスト学習などの近年の戦略は, 事前学習後の微調整相に組み合わされている。
  論文  参考訳（メタデータ） (2021-04-19T18:51:22Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。