論文の概要: NoiLIn: Do Noisy Labels Always Hurt Adversarial Training?

• arxiv url: http://arxiv.org/abs/2105.14676v1
• Date: Mon, 31 May 2021 02:17:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:04:22.442319
• Title: NoiLIn: Do Noisy Labels Always Hurt Adversarial Training?
• Title（参考訳）: NoiLIn:Noisy Labelsは、常に逆行訓練をしているか?
• Authors: Jingfeng Zhang, Xilie Xu, Bo Han, Tongliang Liu, Gang Niu, Lizhen Cui, Masashi Sugiyama
• Abstract要約: ノイズラベル(NL)は一般的に学習を損ね、モデルのパフォーマンスを損なう。 我々は,AT のトレーニングプロセスに対するアンダーラインインジェクションを徐々に増加させる "NoiLIn" を提案する。
• 参考スコア（独自算出の注目度）: 110.91847883514005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) based on minimax optimization is a popular learning style that enhances the model's adversarial robustness. Noisy labels (NL) commonly undermine the learning and hurt the model's performance. Interestingly, both research directions hardly crossover and hit sparks. In this paper, we raise an intriguing question -- Does NL always hurt AT? Firstly, we find that NL injection in inner maximization for generating adversarial data augments natural data implicitly, which benefits AT's generalization. Secondly, we find NL injection in outer minimization for the learning serves as regularization that alleviates robust overfitting, which benefits AT's robustness. To enhance AT's adversarial robustness, we propose "NoiLIn" that gradually increases \underline{Noi}sy \underline{L}abels \underline{In}jection over the AT's training process. Empirically, NoiLIn answers the previous question negatively -- the adversarial robustness can be indeed enhanced by NL injection. Philosophically, we provide a new perspective of the learning with NL: NL should not always be deemed detrimental, and even in the absence of NL in the training set, we may consider injecting it deliberately.
• Abstract（参考訳）: minimax最適化に基づくadversarial training (at)は、モデルの敵対的堅牢性を高める一般的な学習スタイルである。 ノイズラベル(NL)は一般的に学習を損ね、モデルのパフォーマンスを損なう。 興味深いことに、両研究の方向性はほとんど交差せず、火花に当たった。 この論文では、興味深い疑問を提起します -- NLは常にATを傷つけていますか? まず,adversarial data生成のための内部最大化におけるnlインジェクションは,atの一般化の恩恵を受ける自然データを暗黙的に増強する。 第二に、学習のための外部最小化におけるNL注入は、ATの堅牢性に恩恵をもたらす堅牢なオーバーフィッティングを緩和する正規化となる。 AT の対向ロバスト性を高めるため,AT のトレーニング過程に対して,徐々に \underline{Noi}sy \underline{L}abels \underline{In}jection を増加させる "NoiLIn" を提案する。 経験上、noilin氏は以前の質問に対して否定的に答えている。 哲学的には、nl による学習の新しい視点を提供する: nl は必ずしも有害とみなされるべきではなく、トレーニングセットに nl が存在しない場合でも、故意に注入することを考慮すべきである。

関連論文リスト

• WPN: An Unlearning Method Based on N-pair Contrastive Learning in Language Models [3.2200593267837987]
  生成言語モデル(LM)は、事前訓練中に得られた有害な知識のために不適切または有害な出力を生成する。 我々は,n対の相対的学習フレームワークにおいて,位置重み付き平均プールを利用する重み付き位置Nペア学習(WPN)を提案する。 OPTおよびGPT-NEO LMの実験では、WPNは有害反応の割合を効果的に減少させ、最大95.8%の無害率を達成することが示されている。
  論文  参考訳（メタデータ） (2024-08-18T12:37:03Z)
• Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs [13.03032975937872]
  大きな言語モデル(LLM)は、しばしば望ましくない方法で振る舞うように、明示的に微調整されないようにすることができる。 レッドチーム、モデル編集、解釈可能性に関する最近の研究は、この課題が(逆境的な)微調整が望ましくない能力を排除するのではなく、いかに抑制するかに起因していることを示唆している。
  論文  参考訳（メタデータ） (2024-07-22T11:19:14Z)
• Adaptive Batch Normalization Networks for Adversarial Robustness [33.14617293166724]
  敵防衛訓練(Adversarial Training、AT)は、現代の敵防衛の標準的基盤である。 テスト時間領域適応の最近の進歩に触発された適応バッチ正規化ネットワーク(ABNN)を提案する。 ABNNは、デジタルおよび物理的に実現可能な攻撃に対する敵の堅牢性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-20T00:58:53Z)
• F$^2$AT: Feature-Focusing Adversarial Training via Disentanglement of Natural and Perturbed Patterns [74.03108122774098]
  ディープニューラルネットワーク(DNN)は、よく設計された摂動によって構築された敵の例に対して脆弱である。 これは、自動運転車、監視セキュリティ、医療診断などの重要な応用について、悲惨な結果をもたらす可能性がある。 本稿では,自然パターンから中心となる特徴に焦点を合わせ,モデルに焦点をあてる機能集中型適応訓練(F$2$AT)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T04:31:42Z)
• Fine-Grained Classification with Noisy Labels [31.128588235268126]
  雑音ラベル(LNL)を用いた学習は,ラベルが破損したトレーニングセットからモデル一般化を保証することを目的としている。 粒度データセット(LNL-FG)におけるLNLの滅多に研究されていないシナリオについて検討する。 本稿では,識別可能な表現を奨励することによってラベルノイズに直面する雑音耐性教師付きコントラスト学習(SNSCL)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-04T12:32:45Z)
• Universal Adversarial Training with Class-Wise Perturbations [78.05383266222285]
  敵の訓練は 敵の攻撃を防御するために 最も広く使われる方法です この作業では、UAPがすべてのクラスを等しく攻撃しないことがわかります。 我々は,対人訓練におけるクラスワイドUAPの利用を提案することで,SOTA UATを改善した。
  論文  参考訳（メタデータ） (2021-04-07T09:05:49Z)
• Understanding the Interaction of Adversarial Training with Noisy Labels [123.25825911711026]
  近年の逆行訓練 (AT) では, 投射勾配降下段数の増加が, この点の頑健性の効果的な測定方法であることが示された。 ある点がノイズのあるクラスの境界に近すぎる(例えば、1ステップで攻撃できる)場合、この点が誤ってラベル付けされる可能性が高い。 我々は,AT自体がNL補正であることを示す標準トレーニング(ST)よりも,NLの強い平滑化効果(NL補正なし)が低いことを確認した。
  論文  参考訳（メタデータ） (2021-02-06T02:45:03Z)
• Attacks Which Do Not Kill Training Make Adversarial Learning Stronger [85.96849265039619]
  ミニマックス定式化に基づく敵対的訓練は、訓練されたモデルの敵対的堅牢性を得るのに必要である。 敵のトレーニングは、現在のモデルを更新するために、確実な敵のデータを取り入れることである、と我々は主張する。
  論文  参考訳（メタデータ） (2020-02-26T01:04:38Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。