論文の概要: On Adversarial Robustness: A Neural Architecture Search perspective

• arxiv url: http://arxiv.org/abs/2007.08428v4
• Date: Thu, 26 Aug 2021 09:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 21:56:11.146446
• Title: On Adversarial Robustness: A Neural Architecture Search perspective
• Title（参考訳）: 敵対的ロバスト性について:ニューラルアーキテクチャ検索の視点から
• Authors: Chaitanya Devaguptapu, Devansh Agarwal, Gaurav Mittal, Pulkit Gopalani, Vineeth N Balasubramanian
• Abstract要約: この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。 単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。 我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
• 参考スコア（独自算出の注目度）: 20.478741635006113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial robustness of deep learning models has gained much traction in the last few years. Various attacks and defenses are proposed to improve the adversarial robustness of modern-day deep learning architectures. While all these approaches help improve the robustness, one promising direction for improving adversarial robustness is unexplored, i.e., the complex topology of the neural network architecture. In this work, we address the following question: Can the complex topology of a neural network give adversarial robustness without any form of adversarial training?. We answer this empirically by experimenting with different hand-crafted and NAS-based architectures. Our findings show that, for small-scale attacks, NAS-based architectures are more robust for small-scale datasets and simple tasks than hand-crafted architectures. However, as the size of the dataset or the complexity of task increases, hand-crafted architectures are more robust than NAS-based architectures. Our work is the first large-scale study to understand adversarial robustness purely from an architectural perspective. Our study shows that random sampling in the search space of DARTS (a popular NAS method) with simple ensembling can improve the robustness to PGD attack by nearly~12\%. We show that NAS, which is popular for achieving SoTA accuracy, can provide adversarial accuracy as a free add-on without any form of adversarial training. Our results show that leveraging the search space of NAS methods with methods like ensembles can be an excellent way to achieve adversarial robustness without any form of adversarial training. We also introduce a metric that can be used to calculate the trade-off between clean accuracy and adversarial robustness. Code and pre-trained models will be made available at \url{https://github.com/tdchaitanya/nas-robustness}
• Abstract（参考訳）: ディープラーニングモデルの敵対的堅牢性は、ここ数年で大きな注目を集めている。 現代のディープラーニングアーキテクチャの対角的堅牢性を改善するために,様々な攻撃と防御が提案されている。 これらのアプローチはすべてロバスト性を改善するのに役立つが、敵対的ロバスト性を改善するための有望な方向の1つは、ニューラルネットワークアーキテクチャの複雑なトポロジーである。 ニューラルネットワークの複雑なトポロジは、いかなる形の敵のトレーニングも必要とせずに、敵の堅牢性を提供できるか? . 我々は、様々な手作りアーキテクチャとnasベースのアーキテクチャを実験することで経験的に答える。 その結果,NASベースのアーキテクチャは手作りのアーキテクチャよりも,小規模のデータセットや単純なタスクに対して堅牢であることがわかった。 しかし、データセットのサイズやタスクの複雑さが大きくなると、手作りのアーキテクチャはNASベースのアーキテクチャよりも堅牢になる。 私たちの研究は、アーキテクチャの観点から敵意の強固さを理解する最初の大規模な研究です。 そこで本研究では,単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。 我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。 この結果から,NAS手法の探索空間をアンサンブル法などの手法で活用することは,いかなる形態の対角的訓練も行わずに,対角的堅牢性を達成できることを示す。 また,クリーンな正確性と敵対的ロバスト性とのトレードオフを計算するための指標も導入する。 コードと事前トレーニングされたモデルは、 \url{https://github.com/tdchaitanya/nas-robustness}で利用可能になる。

関連論文リスト

• Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness [32.914986455418]
  本稿では, 対数対数対数ロバスト性に対する強化圧縮型ニューラルネットワーク探索(RC-NAS)を提案する。 具体的には、データセット、敵攻撃、教師ネットワーク情報を構成するタスク設定を定義する。 実験により、我々のフレームワークは、異なる初期教師ネットワーク、データセット、および敵攻撃に対して適応的な圧縮を実現することができることが示された。
  論文  参考訳（メタデータ） (2024-06-10T20:59:52Z)
• Towards Accurate and Robust Architectures via Neural Architecture Search [3.4014222238829497]
  対向訓練は、アーキテクチャに関連する重み接続を調整することにより、精度と堅牢性を向上させる。 本稿では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2024-05-09T02:16:50Z)
• Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
  我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。 また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
  論文  参考訳（メタデータ） (2024-03-19T20:10:23Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation [1.9100854225243937]
  マルチファイダリティ評価(ES-CRNA-ME)による包括的強靭性ニューラルアーキテクチャの効率的な探索法を提案する。 具体的には、まず、重み共有に基づくNAS法を用いて、複数のタイプの評価のもと、包括的に堅牢なアーキテクチャを探索する。 相関分析によりロバスト性評価の回数を削減し、同様の評価を取り入れ、評価コストを削減できる。
  論文  参考訳（メタデータ） (2023-05-12T08:28:58Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• DSRNA: Differentiable Search of Robust Neural Architectures [11.232234265070753]
  ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。 堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。 我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
  論文  参考訳（メタデータ） (2020-12-11T04:52:54Z)
• Disturbance-immune Weight Sharing for Neural Architecture Search [96.93812980299428]
  本稿では,モデル更新のための乱れ免疫更新戦略を提案する。 我々は,パフォーマンス障害リスクを軽減するための戦略の有効性を理論的に分析する。
  論文  参考訳（メタデータ） (2020-03-29T17:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。