論文の概要: ZARTS: On Zero-order Optimization for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2110.04743v1
• Date: Sun, 10 Oct 2021 09:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:08:12.890585
• Title: ZARTS: On Zero-order Optimization for Neural Architecture Search
• Title（参考訳）: ZARTS: ニューラルネットワーク探索のためのゼロオーダー最適化について
• Authors: Xiaoxing Wang, Wenxuan Guo, Junchi Yan, Jianlin Su, Xiaokang Yang
• Abstract要約: 微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
• 参考スコア（独自算出の注目度）: 94.41017048659664
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Differentiable architecture search (DARTS) has been a popular one-shot paradigm for NAS due to its high efficiency. It introduces trainable architecture parameters to represent the importance of candidate operations and proposes first/second-order approximation to estimate their gradients, making it possible to solve NAS by gradient descent algorithm. However, our in-depth empirical results show that the approximation will often distort the loss landscape, leading to the biased objective to optimize and in turn inaccurate gradient estimation for architecture parameters. This work turns to zero-order optimization and proposes a novel NAS scheme, called ZARTS, to search without enforcing the above approximation. Specifically, three representative zero-order optimization methods are introduced: RS, MGS, and GLD, among which MGS performs best by balancing the accuracy and speed. Moreover, we explore the connections between RS/MGS and gradient descent algorithm and show that our ZARTS can be seen as a robust gradient-free counterpart to DARTS. Extensive experiments on multiple datasets and search spaces show the remarkable performance of our method. In particular, results on 12 benchmarks verify the outstanding robustness of ZARTS, where the performance of DARTS collapses due to its known instability issue. Also, we search on the search space of DARTS to compare with peer methods, and our discovered architecture achieves 97.54% accuracy on CIFAR-10 and 75.7% top-1 accuracy on ImageNet, which are state-of-the-art performance.
• Abstract（参考訳）: 微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 候補演算の重要性を表現するためにトレーニング可能なアーキテクチャパラメータを導入し、勾配を推定する一階・二階近似を提案し、勾配降下アルゴリズムによりNASを解くことができる。 しかし、我々の詳細な実験結果から、近似はしばしば損失景観を歪ませ、アーキテクチャパラメータの最適化と不正確な勾配推定のバイアスが生じることが示されている。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 具体的には, RS, MGS, GLDの3つの代表的ゼロオーダー最適化手法を導入し, MGSの精度と速度のバランスをとる。 さらに、RS/MGSと勾配降下アルゴリズムの関連性について検討し、我々のZARTSがDARTSとは無関係であることを示す。 複数のデータセットと検索空間に対する大規模な実験により,本手法の顕著な性能が示された。 特に、12のベンチマークの結果は、既知の不安定性の問題によりdartのパフォーマンスが崩壊するzartsの優れた堅牢性を検証する。 また、dartの検索空間を検索してピアメソッドと比較し、発見されたアーキテクチャは、cifar-10で97.54%、imagenetで75.7%のtop-1精度を達成しています。

関連論文リスト

• Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
  本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
  論文  参考訳（メタデータ） (2023-02-11T09:18:01Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Single-level Optimization For Differential Architecture Search [6.3531384587183135]
  differential architecture search (darts)は、アーキテクチャパラメータの勾配をネットワークの重み付けに偏らせる。 本研究では,Sigmoidなどの非競合アクティベーション関数と2レベル最適化を置き換え,softmaxを置き換えることを提案する。 NAS Benchmark 201の実験は、仮説を検証し、ほぼ最適なアーキテクチャを安定的に見つけます。
  論文  参考訳（メタデータ） (2020-12-15T18:40:33Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。