論文の概要: Meta Self-Refinement for Robust Learning with Weak Supervision

• arxiv url: http://arxiv.org/abs/2205.07290v2
• Date: Sun, 30 Apr 2023 13:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 20:06:46.027428
• Title: Meta Self-Refinement for Robust Learning with Weak Supervision
• Title（参考訳）: 弱監督によるロバスト学習のためのメタ自己定義
• Authors: Dawei Zhu, Xiaoyu Shen, Michael A. Hedderich, Dietrich Klakow
• Abstract要約: 弱い監視からラベルノイズに対処するメタ自己精製(MSR)を提案する。 MSRは全ての設定においてラベルノイズに対して堅牢であり、最先端の手法を最大11.4%、F1スコアで9.26%上回っている。
• 参考スコア（独自算出の注目度）: 29.80743717767389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) under weak supervision has attracted increasing research attention as it can significantly reduce the annotation cost. However, labels from weak supervision can be noisy, and the high capacity of DNNs enables them to easily overfit the label noise, resulting in poor generalization. Recent methods leverage self-training to build noise-resistant models, in which a teacher trained under weak supervision is used to provide highly confident labels for teaching the students. Nevertheless, the teacher derived from such frameworks may have fitted a substantial amount of noise and therefore produce incorrect pseudo-labels with high confidence, leading to severe error propagation. In this work, we propose Meta Self-Refinement (MSR), a noise-resistant learning framework, to effectively combat label noise from weak supervision. Instead of relying on a fixed teacher trained with noisy labels, we encourage the teacher to refine its pseudo-labels. At each training step, MSR performs a meta gradient descent on the current mini-batch to maximize the student performance on a clean validation set. Extensive experimentation on eight NLP benchmarks demonstrates that MSR is robust against label noise in all settings and outperforms state-of-the-art methods by up to 11.4% in accuracy and 9.26% in F1 score.
• Abstract（参考訳）: 弱い監督下での深層ニューラルネットワーク(DNN)のトレーニングは、アノテーションコストを大幅に削減できるため、研究の注目を集めている。 しかし、監督の弱いラベルはうるさく、DNNの容量が高いため、ラベルノイズを過度に過小評価できるため、一般化は不十分である。 近年, 自己学習を活用して, 弱い指導下で訓練した教師が, 生徒に高い自信を示すラベルを提示できる, 耐雑音モデルの構築が進められている。 それにもかかわらず、そのような枠組みから派生した教師は相当量のノイズに適応し、信頼度の高い誤った擬似ラベルを生成し、深刻なエラー伝播を引き起こす可能性がある。 そこで本研究では,騒音耐性学習フレームワークであるMeta Self-Refinement(MSR)を提案する。 騒がしいラベルで訓練された教師に頼るのではなく、先生に偽のラベルを磨くよう促す。 各トレーニングステップでは、MSRが現在のミニバッチにメタ勾配降下を行い、クリーンな検証セット上での学生のパフォーマンスを最大化する。 8つのNLPベンチマークによる大規模な実験では、MSRは全ての設定においてラベルノイズに対して堅牢であり、最先端の手法よりも11.4%の精度、9.26%のスコアで性能が向上している。

関連論文リスト

• Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection [93.6222609806278]
  本稿では,弱い教師付き偽ニュース検出のためのラベル雑音耐性平均教育手法 (LNMT) を提案する。 LNMTは、未ラベルのニュースとユーザのフィードバックコメントを活用して、トレーニングデータの量を増やす。 LNMTはラベル伝搬とラベル信頼性推定を備えた平均教師フレームワークを確立する。
  論文  参考訳（メタデータ） (2022-06-10T16:01:58Z)
• Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels [65.79898033530408]
  極音下での学習に明示的に取り組むために,LC-Boosterと呼ばれる新しい枠組みを導入する。 LC-Boosterは、ラベル補正をサンプル選択に組み込むことで、信頼性の高いラベル修正を通じて、より精製されたサンプルをトレーニングに利用することができる。 実験により、LC-Boosterはいくつかのノイズラベルベンチマークで最先端の結果を前進させることが示された。
  論文  参考訳（メタデータ） (2022-04-30T07:19:03Z)
• Investigating Why Contrastive Learning Benefits Robustness Against Label Noise [6.855361451300868]
  自己教師付きコントラスト学習は、ディープネットワークがノイズラベルを過度に適合させるのを防ぐのに非常に効果的であることが示されている。 コントラスト学習によって学習された表現行列が頑健性を高めることを厳密に証明する。
  論文  参考訳（メタデータ） (2022-01-29T05:19:26Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
  本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。 そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
  論文  参考訳（メタデータ） (2021-05-10T14:43:11Z)
• Contrastive Learning Improves Model Robustness Under Label Noise [3.756550107432323]
  コントラスト学習で学習した表現を用いて教師付きロバスト手法を初期化することで,ラベル雑音下での性能が著しく向上することを示す。 最も単純な方法でさえ、コントラスト学習の場合、高いラベルノイズの下で最先端のSSLメソッドを50%以上上回ることができます。
  論文  参考訳（メタデータ） (2021-04-19T00:27:58Z)
• LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment [33.376639002442914]
  新しい2段ノイズラベルトレーニングアルゴリズムLongReMixを提案します。 CIFAR-10, CIFAR-100, WebVision, Clothing1M, Food101-NでLongReMixを試験した。 私たちのアプローチは、ほとんどのデータセットで最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-03-06T18:48:40Z)
• Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
  本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。 我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。 我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2020-11-15T04:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。