論文の概要: DropAttack: A Masked Weight Adversarial Training Method to Improve Generalization of Neural Networks

• arxiv url: http://arxiv.org/abs/2108.12805v1
• Date: Sun, 29 Aug 2021 10:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 15:06:03.171690
• Title: DropAttack: A Masked Weight Adversarial Training Method to Improve Generalization of Neural Networks
• Title（参考訳）: dropattack: ニューラルネットワークの一般化を改善するためのマスキングウェイト対向訓練法
• Authors: Shiwen Ni, Jiawen Li and Hung-Yu Kao
• Abstract要約: そこで我々はDropAttackと呼ばれる新しいマスク付き対向訓練法を提案する。 DropAttackは、入力層と隠された層の両方に故意に最悪の逆方向の摂動を追加することで、モデルの一般化を強化する。 提案手法を他の逆学習法や正規化法と比較し,本手法は全データセットの最先端化を実現する。
• 参考スコア（独自算出の注目度）: 7.519872646378836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has been proven to be a powerful regularization method to improve the generalization of models. However, current adversarial training methods only attack the original input sample or the embedding vectors, and their attacks lack coverage and diversity. To further enhance the breadth and depth of attack, we propose a novel masked weight adversarial training method called DropAttack, which enhances generalization of model by adding intentionally worst-case adversarial perturbations to both the input and hidden layers in different dimensions and minimize the adversarial risks generated by each layer. DropAttack is a general technique and can be adopt to a wide variety of neural networks with different architectures. To validate the effectiveness of the proposed method, we used five public datasets in the fields of natural language processing (NLP) and computer vision (CV) for experimental evaluating. We compare the proposed method with other adversarial training methods and regularization methods, and our method achieves state-of-the-art on all datasets. In addition, Dropattack can achieve the same performance when it use only a half training data compared to other standard training method. Theoretical analysis reveals that DropAttack can perform gradient regularization at random on some of the input and wight parameters of the model. Further visualization experiments show that DropAttack can push the minimum risk of the model to a lower and flatter loss landscapes. Our source code is publicly available on https://github.com/nishiwen1214/DropAttack.
• Abstract（参考訳）: 敵対的訓練はモデルの一般化を改善する強力な正規化法であることが証明されている。 しかし、現在の敵の訓練方法は、元の入力サンプルまたは埋め込みベクターのみを攻撃し、それらの攻撃は範囲と多様性を欠いている。 攻撃の幅と深さをさらに高めるために,DropAttackと呼ばれる新しいマスク付き対向訓練法を提案し,各層が生成する対向リスクを最小化し,入力層と隠蔽層の両方に意図的に最悪の対向摂動を加えることにより,モデルの一般化を促進する。 DropAttackは一般的なテクニックであり、さまざまなアーキテクチャを持つさまざまなニューラルネットワークに適用することができる。 提案手法の有効性を検証するために,自然言語処理(NLP)とコンピュータビジョン(CV)の分野で5つの公開データセットを用いて実験を行った。 提案手法を他の逆訓練法や正規化法と比較し,全データセットの最先端化を実現する。 さらに、dropattackは、他の標準的なトレーニング方法と比較して、半分のトレーニングデータを使用する場合と同じパフォーマンスを達成できる。 理論的解析により、dropattackはモデルの入力パラメータとワイトパラメータのいくつかでランダムに勾配正規化を行うことができる。 さらなる可視化実験により、DropAttackはモデルの最小リスクを、より低く、より平坦なロスランドスケープに押し上げることができる。 ソースコードはhttps://github.com/nishiwen1214/DropAttack.comで公開されています。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Enhancing Targeted Attack Transferability via Diversified Weight Pruning [0.3222802562733786]
  悪意のある攻撃者は、画像に人間の知覚できないノイズを与えることによって、標的となる敵の例を生成することができる。 クロスモデル転送可能な敵の例では、モデル情報が攻撃者から秘密にされている場合でも、ニューラルネットワークの脆弱性は残る。 近年の研究では, エンサンブル法の有効性が示されている。
  論文  参考訳（メタデータ） (2022-08-18T07:25:48Z)
• One-shot Neural Backdoor Erasing via Adversarial Weight Masking [8.345632941376673]
  Adversarial Weight Masking (AWM)は、ワンショット設定でも神経バックドアを消去できる新しい方法である。 AWMは、さまざまな利用可能なトレーニングデータセットサイズに対する他の最先端メソッドに対する浄化効果を大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-07-10T16:18:39Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Applying Tensor Decomposition to image for Robustness against Adversarial Attack [3.347059384111439]
  小さな摂動を加えることで、ディープラーニングモデルを簡単に騙すことができる。 本稿では,逆例に対してモデルを守るためにテンソル分解を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-02-28T18:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。