論文の概要: Dual Head Adversarial Training

• arxiv url: http://arxiv.org/abs/2104.10377v1
• Date: Wed, 21 Apr 2021 06:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:31:18.537681
• Title: Dual Head Adversarial Training
• Title（参考訳）: Dual Head Adversarial Training
• Authors: Yujing Jiang, Xingjun Ma, Sarah Monazam Erfani and James Bailey
• Abstract要約: ディープニューラルネットワーク(DNN)は、敵の例や攻撃に対して脆弱であることが知られている。 近年の研究では、逆訓練されたDNNの精度と堅牢性との間に固有のトレードオフが存在することが示されている。 本稿では,既存の対人訓練手法の堅牢性をさらに向上させるために,DH-AT(Dual Head Adversarial Training)を提案する。
• 参考スコア（独自算出の注目度）: 31.538325500032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are known to be vulnerable to adversarial examples/attacks, raising concerns about their reliability in safety-critical applications. A number of defense methods have been proposed to train robust DNNs resistant to adversarial attacks, among which adversarial training has so far demonstrated the most promising results. However, recent studies have shown that there exists an inherent tradeoff between accuracy and robustness in adversarially-trained DNNs. In this paper, we propose a novel technique Dual Head Adversarial Training (DH-AT) to further improve the robustness of existing adversarial training methods. Different from existing improved variants of adversarial training, DH-AT modifies both the architecture of the network and the training strategy to seek more robustness. Specifically, DH-AT first attaches a second network head (or branch) to one intermediate layer of the network, then uses a lightweight convolutional neural network (CNN) to aggregate the outputs of the two heads. The training strategy is also adapted to reflect the relative importance of the two heads. We empirically show, on multiple benchmark datasets, that DH-AT can bring notable robustness improvements to existing adversarial training methods. Compared with TRADES, one state-of-the-art adversarial training method, our DH-AT can improve the robustness by 3.4% against PGD40 and 2.3% against AutoAttack, and also improve the clean accuracy by 1.8%.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、敵の例や攻撃に対して脆弱であることが知られており、安全クリティカルなアプリケーションにおける信頼性への懸念が高まっている。 敵の攻撃に抵抗する堅牢なDNNを訓練するための防衛方法がいくつか提案されているが、その中では敵の訓練が最も有望な結果を示している。 しかし、近年の研究では、adversarially-trained dnnの正確性と堅牢性の間に固有のトレードオフがあることが示されている。 本稿では,既存の対向訓練法のロバスト性をさらに高めるための新しい手法であるdh-atを提案する。 既存の改良された対向訓練とは異なり、dh-atはネットワークのアーキテクチャとより堅牢性を求めるトレーニング戦略の両方を修正している。 具体的には、DH-ATはまず第2のネットワークヘッド(または分岐)をネットワークの中間層にアタッチし、2つのヘッドの出力を集約するために軽量畳み込みニューラルネットワーク(CNN)を使用する。 訓練戦略は2つの頭部の相対的な重要性を反映している。 複数のベンチマークデータセットにおいて、DH-ATが既存の対戦訓練手法に顕著な堅牢性向上をもたらすことを実証的に示す。 TRADESと比較すると,DH-ATはPGD40に対する3.4%,AutoAttackに対する2.3%の堅牢性を向上し,クリーンな精度を1.8%向上させることができる。

関連論文リスト

• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• CAT:Collaborative Adversarial Training [80.55910008355505]
  ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。 具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。 Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
  論文  参考訳（メタデータ） (2023-03-27T05:37:43Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• AccelAT: A Framework for Accelerating the Adversarial Training of Deep Neural Networks through Accuracy Gradient [12.118084418840152]
  アドリヤトレーニングを利用して、悪意のある変更データに対する堅牢なディープニューラルネットワーク(DNN)モデルを開発する。 本研究の目的は、敵の攻撃に対して堅牢なDNNモデルの迅速な開発を可能にするために、敵の訓練を加速することである。
  論文  参考訳（メタデータ） (2022-10-13T10:31:51Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• THAT: Two Head Adversarial Training for Improving Robustness at Scale [126.06873298511425]
  本研究では,大規模多クラスイメージネットデータセットを扱うために設計された2ストリームの逆学習ネットワークであるhead adversarial trainingを提案する。 提案手法では,2つのヘッドと2つの損失関数を持つネットワークを訓練する。1つは自然画像と逆画像間の特徴空間領域シフトを最小化し,もう1つは高い分類精度を促進する。
  論文  参考訳（メタデータ） (2021-03-25T05:32:38Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。