論文の概要: Fast Training of Deep Neural Networks Robust to Adversarial Perturbations

• arxiv url: http://arxiv.org/abs/2007.03832v1
• Date: Wed, 8 Jul 2020 00:35:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 10:02:17.784997
• Title: Fast Training of Deep Neural Networks Robust to Adversarial Perturbations
• Title（参考訳）: 敵対的摂動に頑健な深層ニューラルネットワークの高速学習
• Authors: Justin Goodwin, Olivia Brown, Victoria Helus
• Abstract要約: 対人訓練に対する迅速な近似は、トレーニング時間を短縮し、堅牢性を維持することを約束することを示す。 高速敵トレーニングは、機械学習アプリケーションにおけるセキュリティと説明可能性の向上を提供する、有望なアプローチである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are capable of training fast and generalizing well within many domains. Despite their promising performance, deep networks have shown sensitivities to perturbations of their inputs (e.g., adversarial examples) and their learned feature representations are often difficult to interpret, raising concerns about their true capability and trustworthiness. Recent work in adversarial training, a form of robust optimization in which the model is optimized against adversarial examples, demonstrates the ability to improve performance sensitivities to perturbations and yield feature representations that are more interpretable. Adversarial training, however, comes with an increased computational cost over that of standard (i.e., nonrobust) training, rendering it impractical for use in large-scale problems. Recent work suggests that a fast approximation to adversarial training shows promise for reducing training time and maintaining robustness in the presence of perturbations bounded by the infinity norm. In this work, we demonstrate that this approach extends to the Euclidean norm and preserves the human-aligned feature representations that are common for robust models. Additionally, we show that using a distributed training scheme can further reduce the time to train robust deep networks. Fast adversarial training is a promising approach that will provide increased security and explainability in machine learning applications for which robust optimization was previously thought to be impractical.
• Abstract（参考訳）: ディープニューラルネットワークは、多くの領域で高速にトレーニングし、うまく一般化することができる。 その有望な性能にもかかわらず、ディープネットワークは入力の摂動に対する感性(例えば、敵の例)を示しており、学習した特徴表現はしばしば解釈が困難であり、真の能力と信頼性に関する懸念を提起している。 近年の対人訓練における研究は、モデルが対人例に対して最適化される頑健な最適化の形で、摂動に対する性能感性を改善し、より解釈可能な特徴表現を得る能力を示している。 しかし、敵対的なトレーニングは、標準(すなわち非ロバスト)トレーニングよりも計算コストが増大し、大規模問題での使用には非現実的になる。 最近の研究は、敵の訓練に対する迅速な近似が、無限大規範に縛られた摂動の存在下でトレーニング時間を短縮し、堅牢性を維持することを約束していることを示している。 本研究では,本手法がユークリッドのノルムにまで拡張され,ロバストモデルに共通する人間による特徴表現が保たれることを示す。 さらに,分散学習方式を用いることで,堅牢な深層ネットワークをトレーニングする時間をさらに短縮できることを示す。 高速対人トレーニングは、堅牢な最適化が非現実的と考えられていた機械学習アプリケーションにおいて、セキュリティと説明可能性の向上を提供する、有望なアプローチである。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
  ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。 強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。 我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。 その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-11-21T22:01:36Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)
• Optimizing Information Loss Towards Robust Neural Networks [0.0]
  ニューラルネットワーク(NN)は、敵の例に対して脆弱である。 テクステントロピックリトレーニングと呼ばれる新しいトレーニング手法を提案する。 情報理論にインスパイアされた分析に基づいて、エントロピー的リトレーニングは敵の訓練の効果を模倣する。
  論文  参考訳（メタデータ） (2020-08-07T10:12:31Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training [56.82000424924979]
  入力サンプルに条件付きでネットワークを適応させる条件正規化モジュールを提案する。 適応的ネットワークは、一度逆さまに訓練された場合、クリーンな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れています。
  論文  参考訳（メタデータ） (2020-05-30T23:23:56Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。