論文の概要: Exploring the Relationship between Architecture and Adversarially Robust Generalization

• arxiv url: http://arxiv.org/abs/2209.14105v1
• Date: Wed, 28 Sep 2022 13:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 17:50:12.661674
• Title: Exploring the Relationship between Architecture and Adversarially Robust Generalization
• Title（参考訳）: アーキテクチャと逆ロバスト一般化の関係を探る
• Authors: Shiyu Tang, Siyuan Liang, Ruihao Gong, Aishan Liu, Xianglong Liu, Dacheng Tao
• Abstract要約: 敵の訓練は、敵の例を守るための最も効果的な治療法の1つである。 しばしば、目に見えないテストの敵に対する巨大な堅牢性一般化のギャップに悩まされる。 本稿では,最も代表的なアーキテクチャを体系的に検討し,そのギャップを埋めようとしている。
• 参考スコア（独自算出の注目度）: 110.00366382964472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has been demonstrated to be one of the most effective remedies for defending adversarial examples, yet it often suffers from the huge robustness generalization gap on unseen testing adversaries, deemed as the \emph{adversarially robust generalization problem}. Despite the preliminary understandings devoted on adversarially robust generalization, little is known from the architectural perspective. Thus, this paper tries to bridge the gap by systematically examining the most representative architectures (e.g., Vision Transformers and CNNs). In particular, we first comprehensively evaluated \emph{20} adversarially trained architectures on ImageNette and CIFAR-10 datasets towards several adversaries (multiple $\ell_p$-norm adversarial attacks), and found that Vision Transformers (e.g., PVT, CoAtNet) often yield better adversarially robust generalization. To further understand what architectural ingredients favor adversarially robust generalization, we delve into several key building blocks and revealed the fact via the lens of Rademacher complexity that the higher weight sparsity contributes significantly towards the better adversarially robust generalization of Vision Transformers, which can be often achieved by attention layers. Our extensive studies discovered the close relationship between architectural design and adversarially robust generalization, and instantiated several important insights. We hope our findings could help to better understand the mechanism towards designing robust deep learning architectures.
• Abstract（参考訳）: 敵意トレーニングは、敵意的な例を守るための最も効果的な治療の1つとして証明されているが、しばしば非知覚的テスト敵に対する巨大な堅牢性一般化ギャップに苦しめられている。 反対に堅牢な一般化に関する予備的な理解にもかかわらず、アーキテクチャの観点からはほとんど知られていない。 そこで本稿では,最も代表的なアーキテクチャ(視覚トランスフォーマーやcnnなど)を体系的に検討することにより,ギャップの橋渡しを試みる。 特に,ImageNette と CIFAR-10 のデータセットを複数の敵(複数$\ell_p$-norm 対向攻撃)に対して総合的に評価した結果,視覚変換器 (PVT, CoAtNet など) がより堅牢な一般化をもたらすことが判明した。 建築材料が敵対的にロバストな一般化を好むかをさらに理解するため、我々はいくつかの重要なビルディングブロックを掘り下げ、高重量のスパース性が視覚トランスフォーマーの敵対的ロバストな一般化に大きく寄与するラデマシェ複雑性のレンズを通して、注意層によってしばしば達成できる事実を明らかにした。 我々の広範な研究は、アーキテクチャ設計と逆向きに堅牢な一般化との密接な関係を発見し、いくつかの重要な洞察をインスタンス化した。 私たちの発見は、堅牢なディープラーニングアーキテクチャを設計するためのメカニズムをより深く理解するのに役立ちます。

関連論文リスト

• Towards Accurate and Robust Architectures via Neural Architecture Search [3.4014222238829497]
  対向訓練は、アーキテクチャに関連する重み接続を調整することにより、精度と堅牢性を向上させる。 本稿では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2024-05-09T02:16:50Z)
• Understanding Robustness of Visual State Space Models for Image Classification [19.629800707546543]
  Visual State Space Model (VMamba) は有望なアーキテクチャとして登場し、様々なコンピュータビジョンタスクにおいて顕著なパフォーマンスを示している。 対人攻撃に対する頑健性について検討し,全画像とパッチ固有の対人攻撃を併用した。 ホワイトボックス攻撃時のVMambaの勾配とバックプロパゲーションを調査し、ユニークな脆弱性と防御機能を明らかにする。
  論文  参考訳（メタデータ） (2024-03-16T14:23:17Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• On the interplay of adversarial robustness and architecture components: patches, convolution and attention [65.20660287833537]
  本研究は,学習した特徴の解釈可能性と,未知の脅威モデルに対する頑健性に及ぼす対人訓練の効果について検討する。 ResNetからConvNeXtへのアブレーションにより、キーとなるアーキテクチャ上の変更により、約10%高い$ell_infty$-robustnessが実現した。
  論文  参考訳（メタデータ） (2022-09-14T22:02:32Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Generalization by design: Shortcuts to Generalization in Deep Learning [7.751691910877239]
  よい一般化は、新しい幾何正則化器につながる層上の有界スペクトル積によってもたらされることを示す。 理論によって裏付けられ、我々は「設計による一般化」が現実的に可能であり、優れた一般化がネットワークの構造にコード化されることをさらに実証する。
  論文  参考訳（メタデータ） (2021-07-05T20:01:23Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness [63.627760598441796]
  深層学習における対角的強靭性の分野を詳細に検討する。 直感的な対向例と深層ニューラルネットワークの幾何学的関係を強調した。 セキュリティを超えた敵の堅牢性の主な応用について概説する。
  論文  参考訳（メタデータ） (2020-10-19T16:03:46Z)
• Architectural Resilience to Foreground-and-Background Adversarial Noise [0.0]
  正常な画像の知覚不能な摂動の形でのアドリサイドアタックが広く研究されている。 本稿では,異なるネットワークアーキテクチャのレジリエンスとロバスト性を検討するために,画像の異なるモデルに依存しないベンチマーク摂動を提案する。
  論文  参考訳（メタデータ） (2020-03-23T01:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。