論文の概要: Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations

• arxiv url: http://arxiv.org/abs/2306.05031v1
• Date: Thu, 8 Jun 2023 08:34:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:36:00.844415
• Title: Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations
• Title（参考訳）: 逆摂動に対するロバストNASの一般化軽量プロキシ
• Authors: Hyeonjeong Ha, Minseon Kim, Sung Ju Hwang
• Abstract要約: 最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
• 参考スコア（独自算出の注目度）: 59.167432249229584
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent neural architecture search (NAS) frameworks have been successful in finding optimal architectures for given conditions (e.g., performance or latency). However, they search for optimal architectures in terms of their performance on clean images only, while robustness against various types of perturbations or corruptions is crucial in practice. Although there exist several robust NAS frameworks that tackle this issue by integrating adversarial training into one-shot NAS, however, they are limited in that they only consider robustness against adversarial attacks and require significant computational resources to discover optimal architectures for a single task, which makes them impractical in real-world scenarios. To address these challenges, we propose a novel lightweight robust zero-cost proxy that considers the consistency across features, parameters, and gradients of both clean and perturbed images at the initialization state. Our approach facilitates an efficient and rapid search for neural architectures capable of learning generalizable features that exhibit robustness across diverse perturbations. The experimental results demonstrate that our proxy can rapidly and efficiently search for neural architectures that are consistently robust against various perturbations on multiple benchmark datasets and diverse search spaces, largely outperforming existing clean zero-shot NAS and robust NAS with reduced search cost.
• Abstract（参考訳）: 最近のneural architecture search(nas)フレームワークは、与えられた条件(パフォーマンスやレイテンシなど)に対して最適なアーキテクチャを見つけることに成功している。 しかし、クリーンな画像でのみの性能という観点から最適なアーキテクチャを探索する一方で、様々なタイプの摂動や腐敗に対する堅牢性は、実際には不可欠である。 対人訓練をワンショットのNASに統合することで、この問題に対処する堅牢なNASフレームワークはいくつか存在するが、敵攻撃に対する堅牢性のみを考慮し、単一のタスクに最適なアーキテクチャを見つけるために重要な計算資源を必要とするため、現実のシナリオでは非現実的である。 これらの課題に対処するために,初期化状態におけるクリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。 実験の結果,提案するプロキシは,複数のベンチマークデータセットや多様な検索空間上の様々な摂動に対して一貫して堅牢なニューラルアーキテクチャを迅速かつ効率的に探索することが可能であり,既存のクリーンゼロショットNASやロバストNASよりも探索コストを低減できることがわかった。

関連論文リスト

• Robust Neural Architecture Search [19.214462477848535]
  我々は、新しいNAS手法、Robust Neural Architecture Search (RNAS)を提案する。 精度とロバスト性のバランスをとるために正規化項を設計するために、RNASは高い精度と良好なロバスト性の両方でアーキテクチャを生成する。 実験により、RNASは画像分類と敵攻撃の両方において最先端(SOTA)性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-04-06T03:21:24Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Zero-Cost Proxies Meet Differentiable Architecture Search [20.957570100784988]
  微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-06-12T15:33:36Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
  この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。 単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。 我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
  論文  参考訳（メタデータ） (2020-07-16T16:07:10Z)
• Powering One-shot Topological NAS with Stabilized Share-parameter Proxy [65.09967910722932]
  ワンショットNAS法は、高性能モデルを発見するための訓練効率と能力が際立ったため、研究コミュニティから大きな関心を集めている。 本研究では,大規模Topology Augmented Search Spaceにおいて,高性能なネットワークアーキテクチャを探索することにより,ワンショットNASの向上を図る。 提案手法は,ImageNet 上の Multiply-Adds (MAdds) 制約下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-05-21T08:18:55Z)
• Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
  重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-04-16T17:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。