論文の概要: Robust NAS under adversarial training: benchmark, theory, and beyond
- arxiv url: http://arxiv.org/abs/2403.13134v1
- Date: Tue, 19 Mar 2024 20:10:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 18:47:08.615404
- Title: Robust NAS under adversarial training: benchmark, theory, and beyond
- Title（参考訳）: 対人訓練におけるロバストNAS--ベンチマーク、理論、その他
- Authors: Yongtao Wu, Fanghui Liu, Carl-Johann Simon-Gabriel, Grigorios G Chrysos, Volkan Cevher,
- Abstract要約: 我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。
また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
- 参考スコア（独自算出の注目度）: 55.51199265630444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent developments in neural architecture search (NAS) emphasize the significance of considering robust architectures against malicious data. However, there is a notable absence of benchmark evaluations and theoretical guarantees for searching these robust architectures, especially when adversarial training is considered. In this work, we aim to address these two challenges, making twofold contributions. First, we release a comprehensive data set that encompasses both clean accuracy and robust accuracy for a vast array of adversarially trained networks from the NAS-Bench-201 search space on image datasets. Then, leveraging the neural tangent kernel (NTK) tool from deep learning theory, we establish a generalization theory for searching architecture in terms of clean accuracy and robust accuracy under multi-objective adversarial training. We firmly believe that our benchmark and theoretical insights will significantly benefit the NAS community through reliable reproducibility, efficient assessment, and theoretical foundation, particularly in the pursuit of robust architectures.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の最近の進歩は、悪意のあるデータに対して堅牢なアーキテクチャを考えることの重要性を強調している。
しかし、特に敵の訓練を考慮した場合、これらの堅牢なアーキテクチャを探索するためのベンチマーク評価や理論的保証が特に欠落している。
本研究は,これら2つの課題に対処し,2つのコントリビューションを実現することを目的としている。
まず、画像データセット上のNAS-Bench-201探索空間から、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を包含する包括的データセットをリリースする。
深層学習理論からニューラル・タンジェント・カーネル(NTK)ツールを応用し,多目的対人訓練において,クリーンな精度とロバストな精度でアーキテクチャを探索する一般化理論を確立する。
我々は、信頼性の高い再現性、効率的な評価、理論的基礎、特に堅牢なアーキテクチャの追求を通じて、我々のベンチマークと理論的洞察がNASコミュニティに大きな恩恵をもたらすと強く信じている。
関連論文リスト
- Towards Accurate and Robust Architectures via Neural Architecture Search [3.4014222238829497]
対向訓練は、アーキテクチャに関連する重み接続を調整することにより、精度と堅牢性を向上させる。
本稿では,ARNASを用いて,敵の訓練のための正確で堅牢なアーキテクチャを探索する。
論文 参考訳（メタデータ） (2024-05-09T02:16:50Z) - Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。
注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
論文 参考訳（メタデータ） (2024-03-12T12:24:11Z) - A Theoretical Perspective on Subnetwork Contributions to Adversarial
Robustness [2.064612766965483]
本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。
実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
論文 参考訳（メタデータ） (2023-07-07T19:16:59Z) - Neural Architecture Design and Robustness: A Dataset [11.83842808044211]
ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。
我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。
ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2023-06-11T16:02:14Z) - Generalizable Lightweight Proxy for Robust NAS against Diverse
Perturbations [59.683234126055694]
最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。
クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。
提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
論文 参考訳（メタデータ） (2023-06-08T08:34:26Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-26T17:52:07Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。
単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。
我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
論文 参考訳（メタデータ） (2020-07-16T16:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。