論文の概要: $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing
Operation Selection among Cells
- arxiv url: http://arxiv.org/abs/2210.07998v1
- Date: Fri, 14 Oct 2022 17:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:39:39.505179
- Title: $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing
Operation Selection among Cells
- Title（参考訳）: $\Lambda$-DARTS: セル間の操作選択の調和による性能低下の軽減
- Authors: Sajad Movahedi, Melika Adabinejad, Ayyoob Imani, Arezou Keshavarz,
Mostafa Dehghani, Azadeh Shakery, Babak N. Araabi
- Abstract要約: 微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である
我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。
そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
- 参考スコア（独自算出の注目度）: 11.777101481512423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable neural architecture search (DARTS) is a popular method for
neural architecture search (NAS), which performs cell-search and utilizes
continuous relaxation to improve the search efficiency via gradient-based
optimization. The main shortcoming of DARTS is performance collapse, where the
discovered architecture suffers from a pattern of declining quality during
search. Performance collapse has become an important topic of research, with
many methods trying to solve the issue through either regularization or
fundamental changes to DARTS. However, the weight-sharing framework used for
cell-search in DARTS and the convergence of architecture parameters has not
been analyzed yet. In this paper, we provide a thorough and novel theoretical
and empirical analysis on DARTS and its point of convergence. We show that
DARTS suffers from a specific structural flaw due to its weight-sharing
framework that limits the convergence of DARTS to saturation points of the
softmax function. This point of convergence gives an unfair advantage to layers
closer to the output in choosing the optimal architecture, causing performance
collapse. We then propose two new regularization terms that aim to prevent
performance collapse by harmonizing operation selection via aligning gradients
of layers. Experimental results on six different search spaces and three
different datasets show that our method ($\Lambda$-DARTS) does indeed prevent
performance collapse, providing justification for our theoretical analysis and
the proposed remedy.
- Abstract（参考訳）: 微分可能なニューラルアーキテクチャサーチ(DARTS)は、セル探索を行い、勾配に基づく最適化によって探索効率を向上させるために連続緩和を利用するニューラルネットワークサーチ(NAS)の一般的な方法である。
DARTSの主な欠点はパフォーマンスの崩壊であり、発見されたアーキテクチャは、検索中に品質が低下するパターンに悩まされている。
性能崩壊は研究の重要なトピックとなり、DARTSの正規化や根本的な変更によって問題を解決する方法が数多くある。
しかし、dartのセル検索やアーキテクチャパラメータの収束に使われる重み付けフレームワークはまだ分析されていない。
本稿では, DARTSとその収束点について, 完全かつ新しい理論的, 実証的な分析を行う。
我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。
この収束点が最適アーキテクチャを選択する際の出力に近い層に不公平な優位性を与え、性能が低下する。
次に,2つの新たな正規化項を提案し,階層の勾配を整列させることで動作選択を調和させることにより性能低下を防止する。
6つの異なる検索空間と3つの異なるデータセットに関する実験結果から、我々の手法($\lambda$-darts)は確かに性能の崩壊を防ぎ、理論解析と提案された修正の正当化を提供する。
関連論文リスト
- OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。
DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。
最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
論文 参考訳（メタデータ） (2024-09-22T13:16:07Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳（メタデータ） (2022-03-03T11:47:14Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - DARTS for Inverse Problems: a Study on Hyperparameter Sensitivity [21.263326724329698]
微分可能なアーキテクチャサーチ(DARTS)は、ニューラルネットワークサーチのための広く研究されているツールである。
本報告では,DARTSをベースとした各種手法の結果と,その基礎となる性能統計について報告する。
論文 参考訳（メタデータ） (2021-08-12T10:28:02Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Making Differentiable Architecture Search less local [9.869449181400466]
微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。
これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。
DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
論文 参考訳（メタデータ） (2021-04-21T10:36:43Z) - RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。
我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。
RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
論文 参考訳（メタデータ） (2020-08-10T04:55:51Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - Stabilizing Differentiable Architecture Search via Perturbation-based
Regularization [99.81980366552408]
最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。
本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
論文 参考訳（メタデータ） (2020-02-12T23:46:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。