論文の概要: Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2110.03825v1
• Date: Thu, 7 Oct 2021 23:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 04:31:58.830570
• Title: Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks
• Title（参考訳）: 逆ロバストなディープニューラルネットワークのアーキテクチャ要素の検討
• Authors: Hanxun Huang, Yisen Wang, Sarah Monazam Erfani, Quanquan Gu, James Bailey, Xingjun Ma
• Abstract要約: ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
• 参考スコア（独自算出の注目度）: 98.21130211336964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) are known to be vulnerable to adversarial attacks. A range of defense methods have been proposed to train adversarially robust DNNs, among which adversarial training has demonstrated promising results. However, despite preliminary understandings developed for adversarial training, it is still not clear, from the architectural perspective, what configurations can lead to more robust DNNs. In this paper, we address this gap via a comprehensive investigation on the impact of network width and depth on the robustness of adversarially trained DNNs. Specifically, we make the following key observations: 1) more parameters (higher model capacity) does not necessarily help adversarial robustness; 2) reducing capacity at the last stage (the last group of blocks) of the network can actually improve adversarial robustness; and 3) under the same parameter budget, there exists an optimal architectural configuration for adversarial robustness. We also provide a theoretical analysis explaning why such network configuration can help robustness. These architectural insights can help design adversarially robust DNNs. Code is available at \url{https://github.com/HanxunH/RobustWRN}.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 敵の強いDNNを訓練するための防衛手法が提案されており、その中から敵の訓練が有望な結果を示している。 しかし、敵対的な訓練のために開発された予備的な理解にもかかわらず、アーキテクチャの観点からは、どの構成がより堅牢なDNNに繋がるかは明らかになっていない。 本稿では,ネットワーク幅と深度がDNNの強靭性に与える影響を網羅的に調査することで,このギャップに対処する。 具体的には、以下の重要な観察を行う。 1) より多くのパラメータ(より高いモデル容量)は、必ずしも敵の堅牢性に役立ちません。 2)ネットワークの最終段階(ブロック群)におけるキャパシティの削減は,実際に敵のロバスト性を改善することができる。 3)同じパラメータ予算の下では、敵の堅牢性に最適なアーキテクチャ構成が存在する。 また,このようなネットワーク構成がロバスト性に寄与する理由を説明する理論的解析を行う。 これらのアーキテクチャ上の洞察は、反対に堅牢なDNNの設計に役立つ。 コードは \url{https://github.com/HanxunH/RobustWRN} で入手できる。

関連論文リスト

• A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness [2.064612766965483]
  本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。 実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
  論文  参考訳（メタデータ） (2023-07-07T19:16:59Z)
• Adversarially Robust Neural Architecture Search for Graph Neural Networks [45.548352741415556]
  グラフニューラルネットワーク(GNN)は、リスクに敏感なドメインにGNNを適用するという大きな脅威である敵攻撃の傾向にある。 既存の防御手法は、新しいデータ/タスクや敵攻撃に直面するパフォーマンスを保証せず、アーキテクチャの観点からGNNの堅牢性を理解するための洞察も提供しない。 GNN(G-RNA)のための新しいロバストニューラルネットワーク探索フレームワークを提案する。 G-RNAは、敵の攻撃下で、手動で設計された堅牢なGNNとバニラグラフNASベースラインを12.1%から23.4%上回っている。
  論文  参考訳（メタデータ） (2023-04-09T06:00:50Z)
• Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective [22.59262601575886]
  残余ネットワークに着目し、トポロジ、カーネルサイズ、アクティベーション、正規化といったアーキテクチャ設計をブロックレベルで検討する。 我々は、モデル容量の幅広い範囲にまたがる、対向的に頑健な残留ネットワークRobostResNetsのポートフォリオを提示する。
  論文  参考訳（メタデータ） (2022-12-21T13:19:25Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
  このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-01-28T01:26:35Z)
• Securing Deep Spiking Neural Networks against Adversarial Attacks through Inherent Structural Parameters [11.665517294899724]
  本稿では、内部構造パラメータによるスパイクニューラルネットワーク(SNN)のセキュリティ強化について検討する。 我々の知る限りでは、SNNにおける構造的パラメータが敵攻撃に対する堅牢性に与える影響を調査する最初の研究である。
  論文  参考訳（メタデータ） (2020-12-09T21:09:03Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。