論文の概要: Zero-Cost Proxies Meet Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2106.06799v1
• Date: Sat, 12 Jun 2021 15:33:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 16:59:13.483774
• Title: Zero-Cost Proxies Meet Differentiable Architecture Search
• Title（参考訳）: Zero-Cost Proxiesがアーキテクチャ検索を差別化
• Authors: Lichuan Xiang, {\L}ukasz Dudziak, Mohamed S. Abdelfattah, Thomas Chau, Nicholas D. Lane, Hongkai Wen
• Abstract要約: 微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 20.957570100784988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable neural architecture search (NAS) has attracted significant attention in recent years due to its ability to quickly discover promising architectures of deep neural networks even in very large search spaces. Despite its success, DARTS lacks robustness in certain cases, e.g. it may degenerate to trivial architectures with excessive parametric-free operations such as skip connection or random noise, leading to inferior performance. In particular, operation selection based on the magnitude of architectural parameters was recently proven to be fundamentally wrong showcasing the need to rethink this aspect. On the other hand, zero-cost proxies have been recently studied in the context of sample-based NAS showing promising results -- speeding up the search process drastically in some cases but also failing on some of the large search spaces typical for differentiable NAS. In this work we propose a novel operation selection paradigm in the context of differentiable NAS which utilises zero-cost proxies. Our perturbation-based zero-cost operation selection (Zero-Cost-PT) improves searching time and, in many cases, accuracy compared to the best available differentiable architecture search, regardless of the search space size. Specifically, we are able to find comparable architectures to DARTS-PT on the DARTS CNN search space while being over 40x faster (total searching time 25 minutes on a single GPU).
• Abstract（参考訳）: 微分可能なニューラルネットワーク検索(英語版)(nas)は、非常に大きな検索空間でもディープニューラルネットワークの有望なアーキテクチャを素早く発見する能力を持つため、近年注目を集めている。 その成功にもかかわらず、DARTSは一部のケースでは堅牢性に欠ける。 スキップ接続やランダムノイズのような過度なパラメトリックフリーな操作を持つ自明なアーキテクチャに縮退し、パフォーマンスが低下する可能性がある。 特に、最近、アーキテクチャパラメータの規模に基づく操作選択は、この側面を再考する必要性を示す根本的な誤りであることが証明された。 一方、ゼロコストのプロキシは、最近サンプルベースのnasが有望な結果を示している状況で研究されている。 本稿では,ゼロコストプロキシを利用する微分可能なnasの文脈において,新しい操作選択パラダイムを提案する。 我々の摂動型ゼロコスト操作選択(zero-cost-pt)は,検索空間サイズに関わらず,最良な差別化可能なアーキテクチャ検索に比べて検索時間と精度が向上する。 具体的には、DARTS CNNの検索空間でDARTS-PTに匹敵するアーキテクチャを40倍以上高速(単一のGPUで25分)で見つけることができる。

関連論文リスト

• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Approximate Neural Architecture Search via Operation Distribution Learning [4.358626952482686]
  アーキテクチャセルが与えられた場合、その性能は使用した操作の比率に大きく依存することを示す。 この直感は特定の探索戦略であり、多様なNASアルゴリズムに適用することができる。
  論文  参考訳（メタデータ） (2021-11-08T17:38:29Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。