論文の概要: Amata: An Annealing Mechanism for Adversarial Training Acceleration

• arxiv url: http://arxiv.org/abs/2012.08112v2
• Date: Tue, 9 Mar 2021 20:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:17:02.924264
• Title: Amata: An Annealing Mechanism for Adversarial Training Acceleration
• Title（参考訳）: アマタ:敵の訓練加速のためのアニーリング機構
• Authors: Nanyang Ye, Qianxiao Li, Xiao-Yun Zhou, Zhanxing Zhu
• Abstract要約: amataは、敵のトレーニングに伴う計算オーバーヘッドを削減するように設計されている。 従来の方法に比べて計算時間の1/3から1/2程度で、同様の、あるいはより優れたロバスト性が得られる。 アマタは他の敵の訓練加速アルゴリズムに組み込むことができる。
• 参考スコア（独自算出の注目度）: 41.81414356651482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the empirical success in various domains, it has been revealed that deep neural networks are vulnerable to maliciously perturbed input data that much degrade their performance. This is known as adversarial attacks. To counter adversarial attacks, adversarial training formulated as a form of robust optimization has been demonstrated to be effective. However, conducting adversarial training brings much computational overhead compared with standard training. In order to reduce the computational cost, we propose an annealing mechanism, Amata, to reduce the overhead associated with adversarial training. The proposed Amata is provably convergent, well-motivated from the lens of optimal control theory and can be combined with existing acceleration methods to further enhance performance. It is demonstrated that on standard datasets, Amata can achieve similar or better robustness with around 1/3 to 1/2 the computational time compared with traditional methods. In addition, Amata can be incorporated into other adversarial training acceleration algorithms (e.g. YOPO, Free, Fast, and ATTA), which leads to further reduction in computational time on large-scale problems.
• Abstract（参考訳）: 様々な領域での実証的な成功にもかかわらず、ディープニューラルネットワークは、そのパフォーマンスを著しく低下させる悪意のある摂動入力データに対して脆弱であることが明らかになった。 これは敵攻撃として知られている。 敵意攻撃に対抗するために,ロバスト最適化の形式として定式化された敵意トレーニングが有効であることが示されている。 しかし, 対人訓練の実施は, 通常の訓練に比べて計算オーバーヘッドが大きい。 計算コストを削減するため、敵の訓練に伴うオーバーヘッドを低減するため、アニーリング機構であるアマタを提案する。 提案するアマタは最適制御理論のレンズから十分に動機づけられ,既存の加速度法と組み合わせることで,さらなる性能向上が期待できる。 標準的なデータセットでは、Amataは従来の手法に比べて約1/3から1/2の計算時間で同様の、あるいはより良いロバスト性を達成することができる。 加えて、アマタは他の敵の訓練加速アルゴリズム(例えば)に組み込むことができる。 YOPO, Free, Fast, ATTA) は大規模問題の計算時間を短縮する。

関連論文リスト

• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Gradient-Guided Dynamic Efficient Adversarial Training [6.980357450216633]
  敵意の強い攻撃に耐えられる強固なディープニューラルネットワークを訓練する上で、敵意のトレーニングは効果的だが時間がかかります。 本研究では, 動的適応学習(DEAT, Dynamic Efficient Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2021-03-04T14:57:53Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)
• Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
  同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。 本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2019-12-27T03:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。