論文の概要: Towards Accurate and Robust Architectures via Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2405.05502v1
- Date: Thu, 9 May 2024 02:16:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 14:22:38.914453
- Title: Towards Accurate and Robust Architectures via Neural Architecture Search
- Title（参考訳）: ニューラルネットワークによる正確かつロバストなアーキテクチャを目指して
- Authors: Yuwei Ou, Yuqi Feng, Yanan Sun,
- Abstract要約: 対向訓練は、アーキテクチャに関連する重み接続を調整することにより、精度と堅牢性を向上させる。
本稿では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する。
- 参考スコア（独自算出の注目度）: 3.4014222238829497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To defend deep neural networks from adversarial attacks, adversarial training has been drawing increasing attention for its effectiveness. However, the accuracy and robustness resulting from the adversarial training are limited by the architecture, because adversarial training improves accuracy and robustness by adjusting the weight connection affiliated to the architecture. In this work, we propose ARNAS to search for accurate and robust architectures for adversarial training. First we design an accurate and robust search space, in which the placement of the cells and the proportional relationship of the filter numbers are carefully determined. With the design, the architectures can obtain both accuracy and robustness by deploying accurate and robust structures to their sensitive positions, respectively. Then we propose a differentiable multi-objective search strategy, performing gradient descent towards directions that are beneficial for both natural loss and adversarial loss, thus the accuracy and robustness can be guaranteed at the same time. We conduct comprehensive experiments in terms of white-box attacks, black-box attacks, and transferability. Experimental results show that the searched architecture has the strongest robustness with the competitive accuracy, and breaks the traditional idea that NAS-based architectures cannot transfer well to complex tasks in robustness scenarios. By analyzing outstanding architectures searched, we also conclude that accurate and robust neural architectures tend to deploy different structures near the input and output, which has great practical significance on both hand-crafting and automatically designing of accurate and robust architectures.
- Abstract（参考訳）: 敵の攻撃からディープニューラルネットワークを守るために、敵の訓練はその効果に注目が集まっている。
しかし, 対向トレーニングによる精度と頑健性は, アーキテクチャに関連する重み接続を調整することにより, 精度と頑健性を向上させるため, アーキテクチャによって制限される。
本研究では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する手法を提案する。
まず, 高精度でロバストな探索空間を設計し, セル配置とフィルタ数の比例関係を慎重に決定する。
この設計により、アーキテクチャは、それぞれの感度の高い位置に、それぞれ正確な構造と堅牢な構造を配置することで、正確性と堅牢性の両方を得ることができる。
そこで本研究では,自然損失と対向損失の両方に有益である方向への勾配降下を行う多目的探索戦略を提案し,精度とロバスト性を同時に保証する。
我々は、ホワイトボックス攻撃、ブラックボックス攻撃、転送可能性の観点から包括的な実験を行う。
実験結果から,探索されたアーキテクチャは競争精度で強い強靭性を示し,NASベースのアーキテクチャは頑健性シナリオにおいて複雑なタスクにうまく移行できないという従来の考え方を破る結果となった。
検索した優れたアーキテクチャを分析することで、正確でロバストなニューラルネットワークアーキテクチャは入力と出力の近くに異なる構造を配置する傾向にあり、手作りと、正確でロバストなアーキテクチャの自動設計の両方において非常に実践的な重要性がある、と結論付けている。
関連論文リスト
- Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness [32.914986455418]
本稿では, 対数対数対数ロバスト性に対する強化圧縮型ニューラルネットワーク探索(RC-NAS)を提案する。
具体的には、データセット、敵攻撃、教師ネットワーク情報を構成するタスク設定を定義する。
実験により、我々のフレームワークは、異なる初期教師ネットワーク、データセット、および敵攻撃に対して適応的な圧縮を実現することができることが示された。
論文 参考訳（メタデータ） (2024-06-10T20:59:52Z) - Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。
また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
論文 参考訳（メタデータ） (2024-03-19T20:10:23Z) - Neural Architecture Design and Robustness: A Dataset [11.83842808044211]
ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。
我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。
ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2023-06-11T16:02:14Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - Differentiable Search of Accurate and Robust Architectures [22.435774101990752]
敵の訓練は 単純さと有効性から 注目を集めています
ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。
本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
論文 参考訳（メタデータ） (2022-12-28T08:36:36Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - RobustART: Benchmarking Robustness on Architecture Design and Training
Techniques [170.3297213957074]
ディープニューラルネットワーク(DNN)は敵の雑音に弱い。
アーキテクチャ設計とトレーニングのテクニックが堅牢性にどのように影響するかに関する包括的な研究はない。
本稿では,ImageNet上での包括性調査ベンチマークを提案する。
論文 参考訳（メタデータ） (2021-09-11T08:01:14Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - DSRNA: Differentiable Search of Robust Neural Architectures [11.232234265070753]
ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。
堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。
我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
論文 参考訳（メタデータ） (2020-12-11T04:52:54Z) - On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。
単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。
我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
論文 参考訳（メタデータ） (2020-07-16T16:07:10Z) - Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。
本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。
得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-15T17:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。