論文の概要: Meta Self-Refinement for Robust Learning with Weak Supervision

• arxiv url: http://arxiv.org/abs/2205.07290v1
• Date: Sun, 15 May 2022 14:04:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 15:48:32.026047
• Title: Meta Self-Refinement for Robust Learning with Weak Supervision
• Title（参考訳）: 弱監督によるロバスト学習のためのメタ自己定義
• Authors: Dawei Zhu, Xiaoyu Shen, Michael A. Hedderich, Dietrich Klakow
• Abstract要約: 弱監督源からのノイズラベルに対処するメタ自己精製(MSR)を提案する。 MSRはあらゆる設定におけるノイズに対して堅牢であり、最先端の精度は11.4%、F1スコアは9.26%である。
• 参考スコア（独自算出の注目度）: 29.80743717767389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) with weak supervision has been a hot topic as it can significantly reduce the annotation cost. However, labels from weak supervision can be rather noisy and the high capacity of DNNs makes them easy to overfit the noisy labels. Recent methods leverage self-training techniques to train noise-robust models, where a teacher trained on noisy labels is used to teach a student. However, the teacher from such models might fit a substantial amount of noise and produce wrong pseudo-labels with high confidence, leading to error propagation. In this work, we propose Meta Self-Refinement (MSR), a noise-resistant learning framework, to effectively combat noisy labels from weak supervision sources. Instead of purely relying on a fixed teacher trained on noisy labels, we keep updating the teacher to refine its pseudo-labels. At each training step, it performs a meta gradient descent on the current mini-batch to maximize the student performance on a clean validation set. Extensive experimentation on eight NLP benchmarks demonstrates that MSR is robust against noise in all settings and outperforms the state-of-the-art up to 11.4% in accuracy and 9.26% in F1 score.
• Abstract（参考訳）: 深いニューラルネットワーク(DNN)を弱い監視でトレーニングすることは、アノテーションのコストを大幅に削減できるため、ホットなトピックである。 しかし、監督の弱いラベルは、かなりうるさいし、DNNの容量が高いため、ノイズの多いラベルを過度に利用できる。 近年の手法では、教師がノイズラベルで訓練された教師が生徒に教えるノイズローバストモデルの訓練に自己学習技術を活用している。 しかし、そのようなモデルの教師は相当量のノイズに適合し、誤った擬似ラベルを高い信頼性で生成し、エラー伝播を引き起こす可能性がある。 本研究では,ノイズ耐性学習フレームワークであるMeta Self-Refinement(MSR)を提案する。 騒がしいラベルで訓練された教師に頼るのではなく、教師をアップデートして擬似ラベルを磨き続けます。 トレーニングステップ毎に、現在のミニバッチにメタ勾配降下を行い、クリーンな検証セット上での学生のパフォーマンスを最大化する。 8つのNLPベンチマークによる大規模な実験では、MSRは全ての設定においてノイズに対して堅牢であり、最先端の精度は11.4%、F1スコアは9.26%である。

関連論文リスト

• Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection [93.6222609806278]
  本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。 LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。 LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
  論文  参考訳（メタデータ） (2022-06-10T16:01:58Z)
• Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels [65.79898033530408]
  極音下での学習に明示的に取り組むために,LC-Boosterと呼ばれる新しい枠組みを導入する。 LC-Boosterは、ラベル補正をサンプル選択に組み込むことで、信頼性の高いラベル修正を通じて、より精製されたサンプルをトレーニングに利用することができる。 実験により、LC-Boosterはいくつかのノイズラベルベンチマークで最先端の結果を前進させることが示された。
  論文  参考訳（メタデータ） (2022-04-30T07:19:03Z)
• Investigating Why Contrastive Learning Benefits Robustness Against Label Noise [6.855361451300868]
  自己教師付きコントラスト学習は、ディープネットワークがノイズラベルを過度に適合させるのを防ぐのに非常に効果的であることが示されている。 コントラスト学習によって学習された表現行列が頑健性を高めることを厳密に証明する。
  論文  参考訳（メタデータ） (2022-01-29T05:19:26Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
  本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。 そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
  論文  参考訳（メタデータ） (2021-05-10T14:43:11Z)
• Contrastive Learning Improves Model Robustness Under Label Noise [3.756550107432323]
  コントラスト学習で学習した表現を用いて教師付きロバスト手法を初期化することで,ラベル雑音下での性能が著しく向上することを示す。 最も単純な方法でさえ、コントラスト学習の場合、高いラベルノイズの下で最先端のSSLメソッドを50%以上上回ることができます。
  論文  参考訳（メタデータ） (2021-04-19T00:27:58Z)
• LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment [33.376639002442914]
  新しい2段ノイズラベルトレーニングアルゴリズムLongReMixを提案します。 CIFAR-10, CIFAR-100, WebVision, Clothing1M, Food101-NでLongReMixを試験した。 私たちのアプローチは、ほとんどのデータセットで最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-06T18:48:40Z)
• Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
  本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。 我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。 我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2020-11-15T04:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。