論文の概要: Revisiting Residual Networks for Adversarial Robustness: An
Architectural Perspective
- arxiv url: http://arxiv.org/abs/2212.11005v1
- Date: Wed, 21 Dec 2022 13:19:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 13:45:32.016928
- Title: Revisiting Residual Networks for Adversarial Robustness: An
Architectural Perspective
- Title（参考訳）: 相対ロバスト性のための残留ネットワークの再考:建築的展望
- Authors: Shihua Huang, Zhichao Lu, Kalyanmoy Deb, Vishnu Naresh Boddeti
- Abstract要約: 残余ネットワークに着目し、トポロジ、カーネルサイズ、アクティベーション、正規化といったアーキテクチャ設計をブロックレベルで検討する。
我々は、モデル容量の幅広い範囲にまたがる、対向的に頑健な残留ネットワークRobostResNetsのポートフォリオを提示する。
- 参考スコア（独自算出の注目度）: 22.59262601575886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efforts to improve the adversarial robustness of convolutional neural
networks have primarily focused on developing more effective adversarial
training methods. In contrast, little attention was devoted to analyzing the
role of architectural elements (such as topology, depth, and width) on
adversarial robustness. This paper seeks to bridge this gap and present a
holistic study on the impact of architectural design on adversarial robustness.
We focus on residual networks and consider architecture design at the block
level, i.e., topology, kernel size, activation, and normalization, as well as
at the network scaling level, i.e., depth and width of each block in the
network. In both cases, we first derive insights through systematic ablative
experiments. Then we design a robust residual block, dubbed RobustResBlock, and
a compound scaling rule, dubbed RobustScaling, to distribute depth and width at
the desired FLOP count. Finally, we combine RobustResBlock and RobustScaling
and present a portfolio of adversarially robust residual networks,
RobustResNets, spanning a broad spectrum of model capacities. Experimental
validation across multiple datasets and adversarial attacks demonstrate that
RobustResNets consistently outperform both the standard WRNs and other existing
robust architectures, achieving state-of-the-art AutoAttack robust accuracy of
61.1% without additional data and 63.7% with 500K external data while being
$2\times$ more compact in terms of parameters. Code is available at \url{
https://github.com/zhichao-lu/robust-residual-network}
- Abstract（参考訳）: 畳み込みニューラルネットワークの対向的ロバスト性を改善する取り組みは、主により効果的な対向的トレーニング手法の開発に重点を置いている。
対照的に、反対の強靭性における建築要素(トポロジー、深さ、幅など)の役割を分析することにはほとんど注意が払われなかった。
本稿では,このギャップを解消し,建築設計が対向ロバスト性に与える影響に関する総合的研究を行う。
我々は、残差ネットワークに注目し、アーキテクチャ設計を、ネットワークの各ブロックの深さや幅など、ネットワークのスケーリングレベルだけでなく、トポロジー、カーネルサイズ、アクティベーション、正規化といったブロックレベルで検討する。
いずれの場合も、まず体系的なアブレーション実験を通じて洞察を得る。
次に,ロバストresblockと呼ばれる頑健な残留ブロックと,ロバストスケーリングと呼ばれる複合スケーリングルールを設計し,所望のフロップ数で深さと幅を分散する。
最後に、RobustResBlockとRobustScalingを組み合わせて、モデル能力の幅広い範囲にまたがる、対角的に堅牢な残留ネットワークRobustResNetsのポートフォリオを提示する。
複数のデータセットにわたる実験的な検証と敵攻撃により、RobostResNetsは標準のWRNと既存のロバストアーキテクチャの両方を一貫して上回り、最新技術であるAutoAttackの堅牢な精度は61.1%、外部データは63.7%、パラメータは2.99ドルである。
コードは \url{ https://github.com/zhichao-lu/robust-residual-network} で利用可能である。
関連論文リスト
- (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。
構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。
我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。
視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
論文 参考訳（メタデータ） (2024-07-24T16:47:45Z) - Neural Architecture Design and Robustness: A Dataset [11.83842808044211]
ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。
我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。
ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2023-06-11T16:02:14Z) - RobArch: Designing Robust Architectures against Adversarial Attacks [7.7720465119590845]
アドリアトレーニングはディープニューラルネットワーク(DNN)の堅牢性を改善するための最も効果的なアプローチである
固定パラメータ予算下でのDNNアーキテクチャコンポーネントのロバスト性に関する大規模研究について述べる。
モデル開発者が深い洞察を得られるようにするための18の行動可能な堅牢なネットワーク設計ガイドラインを示します。
論文 参考訳（メタデータ） (2023-01-08T21:19:52Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search [35.362883630015354]
モバイルデバイスにデプロイされるほとんどのニューラルネットワークモデルは小さい。
しかし、小さなニューラルネットワークは一般に攻撃に対して非常に脆弱である。
私たちの研究は、モバイルレベルのリソースの下でクリーンな精度を損なうことなく、小さなニューラルネットワークの堅牢性を改善する方法にフォーカスしています。
論文 参考訳（メタデータ） (2021-02-28T00:54:09Z) - Improving Neural Network Robustness through Neighborhood Preserving
Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。
我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文 参考訳（メタデータ） (2021-01-28T01:26:35Z) - Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
論文 参考訳（メタデータ） (2020-10-03T04:46:17Z) - Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。
textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文 参考訳（メタデータ） (2020-06-13T16:55:51Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳（メタデータ） (2020-04-30T19:12:50Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。