論文の概要: S3: Supervised Self-supervised Learning under Label Noise

• arxiv url: http://arxiv.org/abs/2111.11288v1
• Date: Mon, 22 Nov 2021 15:49:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 15:03:16.445349
• Title: S3: Supervised Self-supervised Learning under Label Noise
• Title（参考訳）: S3:ラベルノイズ下での自己教師型学習の促進
• Authors: Chen Feng, Georgios Tzimiropoulos, Ioannis Patras
• Abstract要約: 本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
• 参考スコア（独自算出の注目度）: 53.02249460567745
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the large progress in supervised learning with Neural Networks, there are significant challenges in obtaining high-quality, large-scale and accurately labeled datasets. In this context, in this paper we address the problem of classification in the presence of label noise and more specifically, both close-set and open-set label noise, that is when the true label of a sample may, or may not belong to the set of the given labels. In the heart of our method is a sample selection mechanism that relies on the consistency between the annotated label of a sample and the distribution of the labels in its neighborhood in the feature space; a relabeling mechanism that relies on the confidence of the classifier across subsequent iterations; and a training strategy that trains the encoder both with a self-consistency loss and the classifier-encoder with the cross-entropy loss on the selected samples alone. Without bells and whistles, such as co-training so as to reduce the self-confirmation bias, and with robustness with respect to settings of its few hyper-parameters, our method significantly surpasses previous methods on both CIFAR10/CIFAR100 with artificial noise and real-world noisy datasets such as WebVision and ANIMAL-10N.
• Abstract（参考訳）: ニューラルネットワークによる教師あり学習の大きな進歩にもかかわらず、高品質で大規模で正確なラベル付きデータセットを得るには大きな課題がある。 本稿では,ラベルノイズの存在下での分類の問題,具体的には,サンプルの真のラベルが与えられたラベルの集合に属する場合,あるいはその集合に属さない場合の,クローズトセットとオープンセットのラベルノイズの両方に対処する。 提案手法の核心は,標本の注釈付きラベルと,その近傍のラベルの分布との一貫性に依存するサンプル選択機構と,その後のイテレーションで分類器の信頼度に依存するrelabeling機構と,自己矛盾損失を伴うエントロピー損失を伴う符号化器と,選択したサンプルのみのクロスエントロピー損失を伴う分類器エンコーダを訓練するトレーニング戦略である。 自己確認バイアスを低減し,少数のハイパーパラメータの設定に対するロバスト性を確保するために,ベルやホイッスルを併用することなく,CIFAR10/CIFAR100と,WebVisionやANIMAL-10Nのような実世界のノイズデータセットを用いて,従来の手法をはるかに上回っている。

関連論文リスト

• Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels [13.314778587751588]
  ノイズラベルは、特にクラウドソーシングやWeb検索から派生した大規模データセットにおいて、現実世界のデータセットにおいてユビキタスである。 トレーニング中にノイズの多いラベルを過度に適合させる傾向にあるため、ノイズの多いデータセットでディープニューラルネットワークをトレーニングすることは難しい。 ノイズラベルの影響を軽減するために,新しい合成サンプルを用いてモデルを訓練するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-22T04:49:39Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Adversary-Aware Partial label learning with Label distillation [47.18584755798137]
  本稿では、Ad-Aware partial Label Learningを紹介し、各インスタンスの候補ラベルのコレクションに、ノイズの多いラベルのセットである$textitrival$を紹介します。 提案手法は, CIFAR10, CIFAR100, CUB200データセットに対して有望な結果を得る。
  論文  参考訳（メタデータ） (2023-04-02T10:18:30Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Mitigating Memorization in Sample Selection for Learning with Noisy Labels [4.679610943608667]
  そこで本研究では,クラスワイドペナルティラベルを用いて,支配的ノイズラベル付きサンプルを集中的にペナルティ化する基準を提案する。 提案したサンプル選択により,ネットワークの学習過程はノイズラベルに対して著しく堅牢になる。
  論文  参考訳（メタデータ） (2021-07-08T06:44:04Z)
• An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels [0.9699640804685629]
  大規模なデータセットには、ディープニューラルネットワーク(DNN)によって記憶されるような、ラベルのずれたサンプルが含まれている傾向があります。 本稿では, ノイズデータからクリーンなサンプルを効果的に選択するために, アンサンブルノイズ・ロバスト K-fold Cross-Validation Selection (E-NKCVS) を提案する。 我々は,ラベルが手動で異なる雑音比で破損した様々な画像・テキスト分類タスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-07-06T02:14:52Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。