論文の概要: Single-step Adversarial training with Dropout Scheduling

• arxiv url: http://arxiv.org/abs/2004.08628v1
• Date: Sat, 18 Apr 2020 14:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 05:09:01.162294
• Title: Single-step Adversarial training with Dropout Scheduling
• Title（参考訳）: ドロップアウトスケジューリングによる単段階逆行訓練
• Authors: Vivek B.S. and R. Venkatesh Babu
• Abstract要約: 単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
• 参考スコア（独自算出の注目度）: 59.50324605982158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models have shown impressive performance across a spectrum of computer vision applications including medical diagnosis and autonomous driving. One of the major concerns that these models face is their susceptibility to adversarial attacks. Realizing the importance of this issue, more researchers are working towards developing robust models that are less affected by adversarial attacks. Adversarial training method shows promising results in this direction. In adversarial training regime, models are trained with mini-batches augmented with adversarial samples. Fast and simple methods (e.g., single-step gradient ascent) are used for generating adversarial samples, in order to reduce computational complexity. It is shown that models trained using single-step adversarial training method (adversarial samples are generated using non-iterative method) are pseudo robust. Further, this pseudo robustness of models is attributed to the gradient masking effect. However, existing works fail to explain when and why gradient masking effect occurs during single-step adversarial training. In this work, (i) we show that models trained using single-step adversarial training method learn to prevent the generation of single-step adversaries, and this is due to over-fitting of the model during the initial stages of training, and (ii) to mitigate this effect, we propose a single-step adversarial training method with dropout scheduling. Unlike models trained using existing single-step adversarial training methods, models trained using the proposed single-step adversarial training method are robust against both single-step and multi-step adversarial attacks, and the performance is on par with models trained using computationally expensive multi-step adversarial training methods, in white-box and black-box settings.
• Abstract（参考訳）: 深層学習モデルは、医療診断や自律運転を含むコンピュータビジョンの幅広い応用において、素晴らしいパフォーマンスを示している。 これらのモデルが直面する主な懸念の1つは、敵の攻撃に対する感受性である。 この問題の重要性を認識した研究者は、敵の攻撃の影響を受けない堅牢なモデルの開発に取り組んでいる。 対人訓練法はこの方向に有望な結果を示す。 敵の訓練体制では、モデルは敵のサンプルを付加したミニバッチで訓練される。 高速で単純な手法(例:シングルステップ勾配上昇)は、計算複雑性を減らすために対数サンプルを生成するために用いられる。 単段階逆行訓練法(非定位法で逆行サンプルを生成する)を用いて訓練したモデルは擬似ロバストであることが示されている。 さらに、モデルのこの擬似ロバスト性は勾配マスキング効果に起因している。 しかし、既存の研究は、一段階の対向訓練中に勾配マスキング効果がいつ、なぜ起こるのかを説明できない。 この作品では (i)単段攻撃訓練法を用いて訓練したモデルが単段攻撃を予防するために学習することを示し、これは訓練初期におけるモデルの過剰フィットによるものである。 (ii)この効果を緩和するために,ドロップアウトスケジューリングを用いた単段逆訓練法を提案する。 従来の単段対人訓練法と異なり、提案した単段対人訓練法を用いて訓練されたモデルは、単段対人攻撃と多段対人攻撃の両方に対して堅牢であり、計算コストの高い多段対人訓練法を用いて訓練されたモデルと同等の性能である。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• CAT:Collaborative Adversarial Training [80.55910008355505]
  ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。 具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。 Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
  論文  参考訳（メタデータ） (2023-03-27T05:37:43Z)
• Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
  健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。 本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。 さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2022-04-28T00:07:15Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Adaptive perturbation adversarial training: based on reinforcement learning [9.563820241076103]
  対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。 この問題を緩和するため,適応的対人訓練が提案されている。 決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
  論文  参考訳（メタデータ） (2021-08-30T13:49:55Z)
• Multi-stage Optimization based Adversarial Training [16.295921205749934]
  本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
  論文  参考訳（メタデータ） (2021-06-26T07:59:52Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。