論文の概要: Understanding the Interaction of Adversarial Training with Noisy Labels
- arxiv url: http://arxiv.org/abs/2102.03482v2
- Date: Tue, 9 Feb 2021 06:12:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 12:49:34.911488
- Title: Understanding the Interaction of Adversarial Training with Noisy Labels
- Title（参考訳）: 雑音ラベルとの対比訓練の相互作用の理解
- Authors: Jianing Zhu, Jingfeng Zhang, Bo Han, Tongliang Liu, Gang Niu, Hongxia
Yang, Mohan Kankanhalli and Masashi Sugiyama
- Abstract要約: 近年の逆行訓練 (AT) では, 投射勾配降下段数の増加が, この点の頑健性の効果的な測定方法であることが示された。
ある点がノイズのあるクラスの境界に近すぎる(例えば、1ステップで攻撃できる)場合、この点が誤ってラベル付けされる可能性が高い。
我々は,AT自体がNL補正であることを示す標準トレーニング(ST)よりも,NLの強い平滑化効果(NL補正なし)が低いことを確認した。
- 参考スコア（独自算出の注目度）: 123.25825911711026
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Noisy labels (NL) and adversarial examples both undermine trained models, but
interestingly they have hitherto been studied independently. A recent
adversarial training (AT) study showed that the number of projected gradient
descent (PGD) steps to successfully attack a point (i.e., find an adversarial
example in its proximity) is an effective measure of the robustness of this
point. Given that natural data are clean, this measure reveals an intrinsic
geometric property -- how far a point is from its class boundary. Based on this
breakthrough, in this paper, we figure out how AT would interact with NL.
Firstly, we find if a point is too close to its noisy-class boundary (e.g., one
step is enough to attack it), this point is likely to be mislabeled, which
suggests to adopt the number of PGD steps as a new criterion for sample
selection for correcting NL. Secondly, we confirm AT with strong smoothing
effects suffers less from NL (without NL corrections) than standard training
(ST), which suggests AT itself is an NL correction. Hence, AT with NL is
helpful for improving even the natural accuracy, which again illustrates the
superiority of AT as a general-purpose robust learning criterion.
- Abstract（参考訳）: 雑音ラベル (NL) と敵対的な例はどちらも訓練されたモデルを弱体化させているが、興味深いことにそれらは独立して研究されている。
最近の敵対的トレーニング(AT)研究では、ある点を攻撃する射影勾配降下(PGD)ステップの数(すなわち、その近傍で敵対的な例を見つける)がこの点の堅牢性の効果的な尺度であることを示した。
自然データがクリーンであることを考えると、この測度は本質的な幾何学的性質 - ある点がクラス境界からどのくらい離れているかを明らかにする。
このブレークスルーに基づいて、本論文ではATがNLとどのように相互作用するかを理解する。
まず、ある点がノイズの多いクラス境界に近すぎるか(例えば、あるステップが攻撃するのに十分)、この点が誤ラベルされる可能性があり、これはNLを修正するためのサンプル選択のための新しい基準としてPGDステップの数を採用することを示唆している。
第2に,AT自体がNL補正であることを示す標準トレーニング(ST)よりも,NLによる(NL補正を伴わない)強い平滑化効果のATが低いことを確認した。
したがって、AT with NLは自然精度の向上に役立ち、汎用の堅牢な学習基準としてATの優位性を再び示しています。
関連論文リスト
- Graph Matching with Bi-level Noisy Correspondence [43.071988798418886]
バイレベルノイズ対応(BNC)とは、ノードレベルノイズ対応(NNC)とエッジレベルノイズ対応(ENC)を指す。
論文 参考訳（メタデータ） (2022-12-08T05:42:00Z) - Adversarial Training with Complementary Labels: On the Benefit of
Gradually Informative Attacks [119.38992029332883]
不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。
我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。
提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
論文 参考訳（メタデータ） (2022-11-01T04:26:45Z) - Zero-Shot Temporal Action Detection via Vision-Language Prompting [134.26292288193298]
視覚言語プロンプト(STALE)を用いた新しいゼロショット時間行動検出モデルを提案する。
我々のモデルは最先端の代替品を著しく上回っている。
我々のモデルは、近年の強力な競合相手よりも監督的TADにおいて優れた結果をもたらす。
論文 参考訳（メタデータ） (2022-07-17T13:59:46Z) - Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。
PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。
また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
論文 参考訳（メタデータ） (2022-06-13T16:24:22Z) - NoiLIn: Do Noisy Labels Always Hurt Adversarial Training? [110.91847883514005]
ノイズラベル(NL)は一般的に学習を損ね、モデルのパフォーマンスを損なう。
我々は,AT のトレーニングプロセスに対するアンダーラインインジェクションを徐々に増加させる "NoiLIn" を提案する。
論文 参考訳（メタデータ） (2021-05-31T02:17:51Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。