論文の概要: Discovering Robust Convolutional Architecture at Targeted Capacity: A Multi-Shot Approach

• arxiv url: http://arxiv.org/abs/2012.11835v3
• Date: Sat, 27 Mar 2021 03:36:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-04-26 07:34:11.279375
• Title: Discovering Robust Convolutional Architecture at Targeted Capacity: A Multi-Shot Approach
• Title（参考訳）: 目標容量でロバストな畳み込みアーキテクチャを発見する:マルチショットアプローチ
• Authors: Xuefei Ning, Junbo Zhao, Wenshuo Li, Tianchen Zhao, Yin Zheng, Huazhong Yang, Yu Wang
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は敵の例に弱い。 最近の研究では、ロバストなアーキテクチャを発見するためにone-shot neural architecture search (nas)を用いた。 本研究では,この問題に対処し,目標容量で堅牢なアーキテクチャを明示的に探索するための,新しいマルチショットNAS法を提案する。
• 参考スコア（独自算出の注目度）: 24.856995432442094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. In this paper, considering scenarios with capacity budget, we aim to discover adversarially robust architecture at targeted capacities. Recent studies employed one-shot neural architecture search (NAS) to discover robust architectures. However, since the capacities of different topologies cannot be aligned in the search process, one-shot NAS methods favor topologies with larger capacities in the supernet. And the discovered topology might be suboptimal when augmented to the targeted capacity. We propose a novel multi-shot NAS method to address this issue and explicitly search for robust architectures at targeted capacities. At the targeted FLOPs of 2000M, the discovered MSRobNet-2000 outperforms the recent NAS-discovered architecture RobNet-large under various criteria by a large margin of 4%-7%. And at the targeted FLOPs of 1560M, MSRobNet-1560 surpasses another NAS-discovered architecture RobNet-free by 2.3% and 1.3% in the clean and PGD-7 accuracies, respectively. All codes are available at https://github.com/walkerning/aw\_nas.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は敵の例に対して脆弱であり、アーキテクチャトポロジ(例えば、幅拡大)のモデル容量の増大は、一貫した堅牢性の向上をもたらすことを示している。 これはアーキテクチャ設計で考慮すべき明らかな堅牢性と効率のトレードオフを示している。 本稿では,キャパシティ予算を考慮したシナリオを考慮し,目標容量の対角的堅牢なアーキテクチャの発見を目指す。 最近の研究では、ロバストなアーキテクチャを発見するためにone-shot neural architecture search (nas)を用いた。 しかし、異なるトポロジの容量は探索過程において整列できないため、ワンショットNAS法はスーパーネットの容量が大きいトポロジを好む。 そして、検出されたトポロジは、ターゲットの容量に拡張した場合、最適ではないかもしれない。 本稿では,この問題に対処し,対象キャパシティでロバストなアーキテクチャを明示的に探索する,新しい多ショットnas手法を提案する。 2000mの目標地点で発見されたmsrobnet-2000は、最近のnasが発見したrobnet-largeを4%-7%という様々な基準で上回っている。 また、目標となる1560MのFLOPでは、MSRobNet-1560が、別のNASで発見されたアーキテクチャであるRobNetを2.3%、PGD-7の精度で1.3%上回る。 すべてのコードはhttps://github.com/walkerning/aw\_nasで入手できる。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
  我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。 1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。 我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
  論文  参考訳（メタデータ） (2022-05-08T21:48:03Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
  この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。 単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。 我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
  論文  参考訳（メタデータ） (2020-07-16T16:07:10Z)
• Powering One-shot Topological NAS with Stabilized Share-parameter Proxy [65.09967910722932]
  ワンショットNAS法は、高性能モデルを発見するための訓練効率と能力が際立ったため、研究コミュニティから大きな関心を集めている。 本研究では,大規模Topology Augmented Search Spaceにおいて,高性能なネットワークアーキテクチャを探索することにより,ワンショットNASの向上を図る。 提案手法は,ImageNet 上の Multiply-Adds (MAdds) 制約下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-05-21T08:18:55Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。