論文の概要: AdvRush: Searching for Adversarially Robust Neural Architectures

• arxiv url: http://arxiv.org/abs/2108.01289v1
• Date: Tue, 3 Aug 2021 04:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 14:07:44.713411
• Title: AdvRush: Searching for Adversarially Robust Neural Architectures
• Title（参考訳）: AdvRush: 逆ロバストなニューラルネットワークの検索
• Authors: Jisoo Mok, Byunggook Na, Hyeokjun Choe, Sungroh Yoon
• Abstract要約: 本稿では,ニューラルアーキテクチャ探索アルゴリズムAdvRushを提案する。 AdvRushは、よりスムーズな入力損失ランドスケープを持つ候補アーキテクチャを好む正規化器を通じて、対向的に堅牢なニューラルネットワークアーキテクチャの発見に成功した。
• 参考スコア（独自算出の注目度）: 17.86463546971522
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks continue to awe the world with their remarkable performance. Their predictions, however, are prone to be corrupted by adversarial examples that are imperceptible to humans. Current efforts to improve the robustness of neural networks against adversarial examples are focused on developing robust training methods, which update the weights of a neural network in a more robust direction. In this work, we take a step beyond training of the weight parameters and consider the problem of designing an adversarially robust neural architecture with high intrinsic robustness. We propose AdvRush, a novel adversarial robustness-aware neural architecture search algorithm, based upon a finding that independent of the training method, the intrinsic robustness of a neural network can be represented with the smoothness of its input loss landscape. Through a regularizer that favors a candidate architecture with a smoother input loss landscape, AdvRush successfully discovers an adversarially robust neural architecture. Along with a comprehensive theoretical motivation for AdvRush, we conduct an extensive amount of experiments to demonstrate the efficacy of AdvRush on various benchmark datasets. Notably, on CIFAR-10, AdvRush achieves 55.91% robust accuracy under FGSM attack after standard training and 50.04% robust accuracy under AutoAttack after 7-step PGD adversarial training.
• Abstract（参考訳）: 深層ニューラルネットワークは、その驚くべきパフォーマンスで世界を喜ばせ続けている。 しかし、その予測は、人間には受け入れられない敵の例によって腐敗する傾向がある。 敵の例に対するニューラルネットワークの堅牢性を改善するための現在の取り組みは、より堅牢な方向にニューラルネットワークの重みを更新する堅牢なトレーニング手法の開発に焦点を当てている。 本研究では、重みパラメータのトレーニングを超えて、本質的な頑健性を持つ対向的に堅牢なニューラルアーキテクチャを設計する問題を考察する。 本稿では, ニューラルネットワークの本質的な頑健性は, 入力ロスランドスケープの滑らかさによって表現できることを, トレーニング手法によらず, 新たな対向的ロバスト性を考慮したニューラルアーキテクチャ探索アルゴリズムAdvRushを提案する。 入力損失のスムースなランドスケープを持つ候補アーキテクチャを好むレギュラライザを通じて、advrushは、敵対的にロバストなニューラルネットワークアーキテクチャをうまく発見する。 AdvRushの包括的な理論的モチベーションとともに、さまざまなベンチマークデータセットに対するAdvRushの有効性を示すために、多数の実験を行っている。 特に、CIFAR-10では、AdvRushは標準訓練後のFGSM攻撃で55.91%の堅牢な精度を達成し、7段階のPGD攻撃訓練後にAutoAttackで50.04%の堅牢な精度を達成した。

関連論文リスト

• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Wavelets Beat Monkeys at Adversarial Robustness [0.8702432681310401]
  物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかったロバスト性に対する新たな洞察をいかに生み出すかを示す。 我々の研究は、物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかった堅牢性に対する新たな洞察をいかに生み出すかを示している。
  論文  参考訳（メタデータ） (2023-04-19T03:41:30Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Differentiable Search of Accurate and Robust Architectures [22.435774101990752]
  敵の訓練は 単純さと有効性から 注目を集めています ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。 本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
  論文  参考訳（メタデータ） (2022-12-28T08:36:36Z)
• RobustART: Benchmarking Robustness on Architecture Design and Training Techniques [170.3297213957074]
  ディープニューラルネットワーク(DNN)は敵の雑音に弱い。 アーキテクチャ設計とトレーニングのテクニックが堅牢性にどのように影響するかに関する包括的な研究はない。 本稿では,ImageNet上での包括性調査ベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T08:01:14Z)
• ASAT: Adaptively Scaled Adversarial Training in Time Series [21.65050910881857]
  金融分野を例に挙げて,時系列分析における対戦訓練の導入に向けて第一歩を踏み出した。 時系列解析において,異なる時間スロットにおけるデータを時間依存の重み付きで扱うことにより,適応的スケールの対位訓練(ASAT)を提案する。 実験の結果,提案したASATはニューラルネットワークの精度と対角的堅牢性の両方を向上できることがわかった。
  論文  参考訳（メタデータ） (2021-08-20T03:13:34Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。