論文の概要: Adversarial Unlearning: Reducing Confidence Along Adversarial Directions

• arxiv url: http://arxiv.org/abs/2206.01367v1
• Date: Fri, 3 Jun 2022 02:26:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 02:39:08.827216
• Title: Adversarial Unlearning: Reducing Confidence Along Adversarial Directions
• Title（参考訳）: 敵意のない学習: 敵意に沿った信頼の低下
• Authors: Amrith Setlur, Benjamin Eysenbach, Virginia Smith, Sergey Levine
• Abstract要約: 本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
• 参考スコア（独自算出の注目度）: 88.46039795134993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised learning methods trained with maximum likelihood objectives often overfit on training data. Most regularizers that prevent overfitting look to increase confidence on additional examples (e.g., data augmentation, adversarial training), or reduce it on training data (e.g., label smoothing). In this work we propose a complementary regularization strategy that reduces confidence on self-generated examples. The method, which we call RCAD (Reducing Confidence along Adversarial Directions), aims to reduce confidence on out-of-distribution examples lying along directions adversarially chosen to increase training loss. In contrast to adversarial training, RCAD does not try to robustify the model to output the original label, but rather regularizes it to have reduced confidence on points generated using much larger perturbations than in conventional adversarial training. RCAD can be easily integrated into training pipelines with a few lines of code. Despite its simplicity, we find on many classification benchmarks that RCAD can be added to existing techniques (e.g., label smoothing, MixUp training) to increase test accuracy by 1-3% in absolute value, with more significant gains in the low data regime. We also provide a theoretical analysis that helps to explain these benefits in simplified settings, showing that RCAD can provably help the model unlearn spurious features in the training data.
• Abstract（参考訳）: 最大確率目標でトレーニングされた教師付き学習方法は、しばしばトレーニングデータに過剰に適合する。 過剰フィッティングを防止するほとんどのレギュレータは、追加の例(データ拡張、敵意トレーニングなど)への信頼を高めたり、トレーニングデータ(ラベル平滑化など)でそれを削減したりする。 本研究では,自己生成例に対する信頼度を低下させる補完的正規化戦略を提案する。 rcad (reducing confidence along adversarial direction) と呼ぶこの手法は、方向に沿って横たわる分散例に対する信頼性を低下させ、トレーニング損失を増大させることを目的としています。 敵意トレーニングとは対照的に、rcadはモデルを堅牢化して元のラベルを出力するのではなく、従来の敵意トレーニングよりも大きな摂動を用いて生成される点に対する信頼度を低下させるように規則化する。 RCADは、数行のコードで簡単にトレーニングパイプラインに統合できる。 その単純さにもかかわらず、rcadが既存の技術(例えばラベルスムーシング、ミックスアップトレーニング)に追加できるという多くの分類ベンチマークでは、絶対値が1～3%向上し、低データレジームではさらに大きな改善が見られた。 また、これらの利点を簡易な設定で説明するための理論的分析を行い、RCADがトレーニングデータ内の素早い特徴を学習するのに役立つことを示す。

関連論文リスト

• Class Incremental Learning for Adversarial Robustness [17.06592851567578]
  アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。 直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。 本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:38:02Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
  Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。 本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:17:52Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。