論文の概要: Connection Sensitivity Matters for Training-free DARTS: From
Architecture-Level Scoring to Operation-Level Sensitivity Analysis
- arxiv url: http://arxiv.org/abs/2106.11542v4
- Date: Fri, 12 May 2023 13:17:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 16:49:07.108140
- Title: Connection Sensitivity Matters for Training-free DARTS: From
Architecture-Level Scoring to Operation-Level Sensitivity Analysis
- Title（参考訳）: 無訓練DARTにおける接続感性項目:アーキテクチャレベルスコーリングから運用レベル感度分析へ
- Authors: Miao Zhang, Wei Huang, Li Wang
- Abstract要約: 最近提案されたトレーニングフリーNAS手法は、トレーニングフェーズを放棄し、優れたアーキテクチャを識別するためのスコアとして、さまざまなゼロコストプロキシを設計する。
本稿では, DARTSにおける操作重要度を, パラメータ集中バイアスを回避して, トレーニング不要な方法で適切に測定できるか, という問題を提起する。
ZEROSをNASに活用するための反復的かつデータに依存しない手法を考案することにより、新しい試行は自由微分型アーキテクチャサーチ(FreeDARTS)と呼ばれるフレームワークに繋がる。
- 参考スコア（独自算出の注目度）: 32.94768616851585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recently proposed training-free NAS methods abandon the training phase
and design various zero-cost proxies as scores to identify excellent
architectures, arousing extreme computational efficiency for neural
architecture search. In this paper, we raise an interesting problem: can we
properly measure the operation importance in DARTS through a training-free way,
with avoiding the parameter-intensive bias? We investigate this question
through the lens of edge connectivity, and provide an affirmative answer by
defining a connectivity concept, ZERo-cost Operation Sensitivity (ZEROS), to
score the importance of candidate operations in DARTS at initialization. By
devising an iterative and data-agnostic manner in utilizing ZEROS for NAS, our
novel trial leads to a framework called training free differentiable
architecture search (FreeDARTS). Based on the theory of Neural Tangent Kernel
(NTK), we show the proposed connectivity score provably negatively correlated
with the generalization bound of DARTS supernet after convergence under
gradient descent training. In addition, we theoretically explain how ZEROS
implicitly avoids parameter-intensive bias in selecting architectures, and
empirically show the searched architectures by FreeDARTS are of comparable
size. Extensive experiments have been conducted on a series of search spaces,
and results have demonstrated that FreeDARTS is a reliable and efficient
baseline for neural architecture search.
- Abstract（参考訳）: 最近提案されたトレーニングフリーnas法は、トレーニングフェーズを放棄し、優れたアーキテクチャを特定するためのスコアとして様々なゼロコストプロキシを設計し、ニューラルネットワークの検索に極端な計算効率をもたらす。
本稿では, DARTSにおける操作重要度を, パラメータ集中バイアスを回避して, トレーニング不要な方法で適切に測定できるか, という問題を提起する。
本稿では、エッジ接続のレンズを用いてこの問題を調査し、接続概念であるZERoコスト操作感性(ZEROS)を定義し、初期化時のDARTSにおける候補操作の重要性を評価することにより、肯定的な回答を提供する。
NASのためにZEROSを利用するための反復的かつデータに依存しない手法を考案することにより、我々の新しい試行は自由微分アーキテクチャサーチ(FreeDARTS)と呼ばれるフレームワークに繋がる。
ニューラル・タンジェント・カーネル(ntk)の理論に基づき,勾配降下訓練における収束後のダーツ・スーパーネットの一般化限界と負の相関関係を示した。
さらに、ZEROSがアーキテクチャ選択においてパラメータ集約バイアスを暗黙的に回避する方法を理論的に説明し、FreeDARTSによる探索アーキテクチャが同等の大きさであることを示す。
一連の探索空間で大規模な実験が行われ、その結果、FreeDARTSはニューラルネットワーク探索の信頼性と効率的なベースラインであることが示されている。
関連論文リスト
- Robustifying DARTS by Eliminating Information Bypass Leakage via
Explicit Sparse Regularization [8.93957397187611]
微分可能なアーキテクチャサーチ (DARTS) は有望なエンドツーエンドNAS手法である。
最近の研究では、DARTSの基本的な仮説に疑問が投げかけられている。
そこで本研究では, DARTS を頑健化するための新しいスパース規則化近似と混合スパース性学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-12T04:11:37Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - Demystifying the Neural Tangent Kernel from a Practical Perspective: Can
it be trusted for Neural Architecture Search without training? [37.29036906991086]
本研究では,ニューラルタンジェントカーネル(NTK)から導出できるいくつかの初期化指標を再検討する。
現代のニューラルアーキテクチャは、高い非線形特性を示しており、NTKベースのメトリクスは、ある程度のトレーニングを伴わずに、アーキテクチャのパフォーマンスを確実に見積もることができる。
これはNTKに基づく新しい計量であり、その固有な定式化により、現代のニューラルアーキテクチャに存在する多くの非線形優位性を捉えることができる。
論文 参考訳（メタデータ） (2022-03-28T08:43:04Z) - KNAS: Green Neural Architecture Search [49.36732007176059]
我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。
実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。
検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
論文 参考訳（メタデータ） (2021-11-26T02:11:28Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture
Design [3.04585143845864]
我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。
その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。
最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
論文 参考訳（メタデータ） (2021-05-25T20:47:43Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。