論文の概要: Differentiable Architecture Search Without Training Nor Labels: A Pruning Perspective

• arxiv url: http://arxiv.org/abs/2106.11542v1
• Date: Tue, 22 Jun 2021 04:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 15:10:02.366864
• Title: Differentiable Architecture Search Without Training Nor Labels: A Pruning Perspective
• Title（参考訳）: トレーニングやラベルのない差別化可能なアーキテクチャ検索--pruning perspective
• Authors: Miao Zhang, Steven Su, Shirui Pan, Xiaojun Chang, Wei Huang, Gholamreza Haffari
• Abstract要約: 我々は、textbfFreeNAS (textittraining and label free neural architecture search) という新しいフレームワークを提案する。 トレーニングやラベルがなければ,提案したFreeFlowプロキシによるFreeNASは,ほとんどのNASベースラインを上回ります。 我々のフレームワークは非常に効率的で、単一のGPU上で textbf3.6s と textbf79s でのみアーキテクチャ検索を完了します。
• 参考スコア（独自算出の注目度）: 92.96419295553275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With leveraging the weight-sharing and continuous relaxation to enable gradient-descent to alternately optimize the supernet weights and the architecture parameters through a bi-level optimization paradigm, \textit{Differentiable ARchiTecture Search} (DARTS) has become the mainstream method in Neural Architecture Search (NAS) due to its simplicity and efficiency. However, more recent works found that the performance of the searched architecture barely increases with the optimization proceeding in DARTS. In addition, several concurrent works show that the NAS could find more competitive architectures without labels. The above observations reveal that the supervision signal in DARTS may be a poor indicator for architecture optimization, inspiring a foundational question: instead of using the supervision signal to perform bi-level optimization, \textit{can we find high-quality architectures \textbf{without any training nor labels}}? We provide an affirmative answer by customizing the NAS as a network pruning at initialization problem. By leveraging recent techniques on the network pruning at initialization, we designed a FreeFlow proxy to score the importance of candidate operations in NAS without any training nor labels, and proposed a novel framework called \textit{training and label free neural architecture search} (\textbf{FreeNAS}) accordingly. We show that, without any training nor labels, FreeNAS with the proposed FreeFlow proxy can outperform most NAS baselines. More importantly, our framework is extremely efficient, which completes the architecture search within only \textbf{3.6s} and \textbf{79s} on a single GPU for the NAS-Bench-201 and DARTS search space, respectively. We hope our work inspires more attempts in solving NAS from the perspective of pruning at initialization.
• Abstract（参考訳）: 重みの共有と継続的な緩和を活用して、双レベル最適化パラダイムを通じて、勾配の老化によってスーパーネットの重みとアーキテクチャパラメータを交互に最適化することを可能にし、その単純さと効率性から、DARTSはニューラルアーキテクチャサーチ(NAS)の主流となる。 しかし、近年の研究では、dartの最適化が進むにつれて、検索されたアーキテクチャのパフォーマンスがわずかに向上していることが判明した。 さらに、いくつかのコンカレントな研究により、NASはラベルなしでより競争力のあるアーキテクチャを見出すことができた。 上記の観察から、dartの監視信号はアーキテクチャ最適化の貧弱な指標であり、基礎的な疑問を喚起する。 監視信号を使用して双方向最適化を実行する代わりに、 \textit{can can find high-quality architectures \textbf{with without any training or labels}}? 初期化問題におけるネットワークプルーニングとしてNASをカスタマイズし,肯定的な回答を提供する。 初期化時のネットワークプラニングにおける最近の技術を活用して,nasにおける候補操作の重要性を,トレーニングやラベルなしで評価するfreeflow proxyを設計し,それに従って,自由ニューラルネットワーク探索(\textbf{freenas})と呼ばれる新しいフレームワークを提案した。 トレーニングやラベルがなければ,提案したFreeFlowプロキシによるFreeNASは,ほとんどのNASベースラインを上回ります。 さらに、我々のフレームワークは非常に効率的で、NAS-Bench-201 と DARTS の検索空間用の単一のGPU上で、それぞれ \textbf{3.6s} と \textbf{79s} のみがアーキテクチャ検索を完了する。 私たちは、初期化時の刈り取りの観点から、NASを解決するためのさらなる試みを期待しています。

関連論文リスト

• Robustifying DARTS by Eliminating Information Bypass Leakage via Explicit Sparse Regularization [8.93957397187611]
  微分可能なアーキテクチャサーチ (DARTS) は有望なエンドツーエンドNAS手法である。 最近の研究では、DARTSの基本的な仮説に疑問が投げかけられている。 そこで本研究では, DARTS を頑健化するための新しいスパース規則化近似と混合スパース性学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:11:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training? [37.29036906991086]
  本研究では,ニューラルタンジェントカーネル(NTK)から導出できるいくつかの初期化指標を再検討する。 現代のニューラルアーキテクチャは、高い非線形特性を示しており、NTKベースのメトリクスは、ある程度のトレーニングを伴わずに、アーキテクチャのパフォーマンスを確実に見積もることができる。 これはNTKに基づく新しい計量であり、その固有な定式化により、現代のニューラルアーキテクチャに存在する多くの非線形優位性を捉えることができる。
  論文  参考訳（メタデータ） (2022-03-28T08:43:04Z)
• KNAS: Green Neural Architecture Search [49.36732007176059]
  我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。 実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。 検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
  論文  参考訳（メタデータ） (2021-11-26T02:11:28Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture Design [3.04585143845864]
  我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。 その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。 最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
  論文  参考訳（メタデータ） (2021-05-25T20:47:43Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。