論文の概要: Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation

• arxiv url: http://arxiv.org/abs/2305.07308v1
• Date: Fri, 12 May 2023 08:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 13:48:48.149650
• Title: Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation
• Title（参考訳）: 多元性評価による包括的ロバストニューラルネットワークの効率的な探索
• Authors: Jialiang Sun, Wen Yao, Tingsong Jiang, Xiaoqian Chen
• Abstract要約: マルチファイダリティ評価(ES-CRNA-ME)による包括的強靭性ニューラルアーキテクチャの効率的な探索法を提案する。 具体的には、まず、重み共有に基づくNAS法を用いて、複数のタイプの評価のもと、包括的に堅牢なアーキテクチャを探索する。 相関分析によりロバスト性評価の回数を削減し、同様の評価を取り入れ、評価コストを削減できる。
• 参考スコア（独自算出の注目度）: 1.9100854225243937
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Neural architecture search (NAS) has emerged as one successful technique to find robust deep neural network (DNN) architectures. However, most existing robustness evaluations in NAS only consider $l_{\infty}$ norm-based adversarial noises. In order to improve the robustness of DNN models against multiple types of noises, it is necessary to consider a comprehensive evaluation in NAS for robust architectures. But with the increasing number of types of robustness evaluations, it also becomes more time-consuming to find comprehensively robust architectures. To alleviate this problem, we propose a novel efficient search of comprehensively robust neural architectures via multi-fidelity evaluation (ES-CRNA-ME). Specifically, we first search for comprehensively robust architectures under multiple types of evaluations using the weight-sharing-based NAS method, including different $l_{p}$ norm attacks, semantic adversarial attacks, and composite adversarial attacks. In addition, we reduce the number of robustness evaluations by the correlation analysis, which can incorporate similar evaluations and decrease the evaluation cost. Finally, we propose a multi-fidelity online surrogate during optimization to further decrease the search cost. On the basis of the surrogate constructed by low-fidelity data, the online high-fidelity data is utilized to finetune the surrogate. Experiments on CIFAR10 and CIFAR100 datasets show the effectiveness of our proposed method.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、堅牢なディープニューラルネットワーク(DNN)アーキテクチャを見つける方法として成功している。 しかし、NASの既存のロバスト性評価は、$l_{\infty}=ノルムベース対向雑音しか考慮していない。 複数種類の雑音に対するDNNモデルのロバスト性を改善するためには,NASにおけるロバストアーキテクチャに対する包括的評価を検討する必要がある。 しかし、ロバスト性評価のタイプが増えるにつれて、包括的にロバストなアーキテクチャを見つけるのに時間がかかります。 この問題を軽減するために,多面体評価(ES-CRNA-ME)による包括的堅牢なニューラルネットワークアーキテクチャの探索を提案する。 具体的には,様々な$l_{p}$ノルム攻撃,意味敵攻撃,複合敵攻撃を含む,重み付けに基づくnas法を用いて,多種類の評価の下で包括的にロバストなアーキテクチャを探索する。 さらに, 相関解析によりロバスト性評価の回数を削減し, 同様の評価を取り入れ, 評価コストを削減できる。 最後に,検索コストをさらに削減するために,最適化中の多元性オンラインサロゲートを提案する。 低忠実度データにより構築されたサロゲートに基づいて、オンライン高忠実度データを用いてサロゲートを微調整する。 cifar10とcifar100データセットの実験では,提案手法の有効性を示す。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures [19.173285459139592]
  本稿では,双方向多目的ニューラルアーキテクチャ探索手法を提案する。 低忠実度性能予測器に加えて,高忠実度評価で訓練された代理モデルの出力を補助対象として活用する。 提案手法の有効性は, CIFAR-10, CIFAR-100, SVHNデータセットを用いた広範囲な実験により確認された。
  論文  参考訳（メタデータ） (2022-07-12T05:26:09Z)
• Searching for Robust Neural Architectures via Comprehensive and Reliable Evaluation [6.612134996737988]
  本稿では,ニューラルアーキテクチャの探索手法を応用した,AAD(Auto Adversarial Attack and Defense)と呼ばれる新しいフレームワークを提案する。 本研究では, 対向雑音, 自然騒音, システム騒音, 定量化指標の4種類のロバスト性評価について検討する。 CIFAR10データセットの実証結果は、探索された効率的な攻撃がより堅牢なアーキテクチャを見つけるのに役立つことを示している。
  論文  参考訳（メタデータ） (2022-03-07T04:45:05Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Accelerating Evolutionary Neural Architecture Search via Multi-Fidelity Evaluation [5.754705118117044]
  MFENASと呼ばれる多要素性評価による高速化ENASを提案する。 MFENASはNVIDIA 2080TI GPUのわずか0.6GPU日で2.39%のテストエラー率を達成する。 CIFAR-10の結果、提案されたMFENASによって得られたアーキテクチャは、わずか0.6GPU日で2.39%のテストエラー率を達成した。
  論文  参考訳（メタデータ） (2021-08-10T09:32:26Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• DSRNA: Differentiable Search of Robust Neural Architectures [11.232234265070753]
  ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。 堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。 我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
  論文  参考訳（メタデータ） (2020-12-11T04:52:54Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。