論文の概要: Differentiable Architecture Search with Random Features
- arxiv url: http://arxiv.org/abs/2208.08835v1
- Date: Thu, 18 Aug 2022 13:55:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-19 13:45:36.370346
- Title: Differentiable Architecture Search with Random Features
- Title（参考訳）: ランダムな特徴を持つ異なるアーキテクチャ検索
- Authors: Xuanyang Zhang, Yonggang Li, Xiangyu Zhang, Yongtao Wang, Jian Sun
- Abstract要約: 微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進してきたが、性能の低下に悩まされている。
本稿では,BatchNormのトレーニングのみによるDARTSの性能崩壊問題を軽減するための取り組みを行う。
- 参考スコア（独自算出の注目度）: 80.31916993541513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable architecture search (DARTS) has significantly promoted the
development of NAS techniques because of its high search efficiency and
effectiveness but suffers from performance collapse. In this paper, we make
efforts to alleviate the performance collapse problem for DARTS from two
aspects. First, we investigate the expressive power of the supernet in DARTS
and then derive a new setup of DARTS paradigm with only training BatchNorm.
Second, we theoretically find that random features dilute the auxiliary
connection role of skip-connection in supernet optimization and enable search
algorithm focus on fairer operation selection, thereby solving the performance
collapse problem. We instantiate DARTS and PC-DARTS with random features to
build an improved version for each named RF-DARTS and RF-PCDARTS respectively.
Experimental results show that RF-DARTS obtains \textbf{94.36\%} test accuracy
on CIFAR-10 (which is the nearest optimal result in NAS-Bench-201), and
achieves the newest state-of-the-art top-1 test error of \textbf{24.0\%} on
ImageNet when transferring from CIFAR-10. Moreover, RF-DARTS performs robustly
across three datasets (CIFAR-10, CIFAR-100, and SVHN) and four search spaces
(S1-S4). Besides, RF-PCDARTS achieves even better results on ImageNet, that is,
\textbf{23.9\%} top-1 and \textbf{7.1\%} top-5 test error, surpassing
representative methods like single-path, training-free, and partial-channel
paradigms directly searched on ImageNet.
- Abstract（参考訳）: 微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進しているが、性能の低下に悩まされている。
本稿では,dartのパフォーマンス崩壊問題を2つの側面から解決するために努力する。
まず,DARTSにおけるスーパーネットの表現力について検討し,BatchNormをトレーニングするだけでDARTSパラダイムを新たに設定する。
第二に、超ネット最適化におけるスキップ接続の補助接続の役割をランダムに減らし、探索アルゴリズムがより公平な操作選択に集中できるようにし、性能崩壊問題を解くことができる。
我々はDARTSとPC-DARTSをランダムな特徴でインスタンス化し、RF-DARTSとRF-PCDARTSをそれぞれ改良したバージョンを構築する。
実験結果から,RF-DARTS は CIFAR-10 上での \textbf{94.36\%} テスト精度(NAS-Bench-201 が最も近い結果)を取得し,CIFAR-10 からの転送時に ImageNet 上で \textbf{24.0\%} の最新の最先端トップ-1 テスト誤差を実現することがわかった。
さらに、RF-DARTSは3つのデータセット(CIFAR-10、CIFAR-100、SVHN)と4つの検索空間(S1-S4)で堅牢に動作する。
さらに、rf-pcdartsは、imagenet上で直接検索されるシングルパス、トレーニングフリー、部分チャネルパラダイムのような代表的メソッドを上回って、textbf{23.9\%} top-1および \textbf{7.1\%} top-5テストエラーでさらに優れた結果を得る。
関連論文リスト
- OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。
DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。
最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
論文 参考訳（メタデータ） (2024-09-22T13:16:07Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - MS-DARTS: Mean-Shift Based Differentiable Architecture Search [11.115656548869199]
サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。
MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
論文 参考訳（メタデータ） (2021-08-23T08:06:45Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - G-DARTS-A: Groups of Channel Parallel Sampling with Attention [22.343277522403742]
本稿では,複数のチャネル群を用いたグループDARTS with Attention (G-DARTS-A) という手法を提案する。
PC-DARTSの部分サンプリング戦略に触発されて、グループチャネルを使用してスーパーネットワークをサンプリングし、より効率的な探索を行う。
論文 参考訳（メタデータ） (2020-10-16T12:58:08Z) - MSR-DARTS: Minimum Stable Rank of Differentiable Architecture Search [45.09936304802425]
ニューラルアーキテクチャサーチ(NAS)において、微分可能なアーキテクチャサーチ(DARTS)が最近注目されている。
本稿では,最小安定ランクDARTS (MSR-DARTS) と呼ばれる手法を提案する。
MSR-DARTSは、CIFAR-10で0.3GPU日間で2.54%、ImageNetで23.9%のエラー率を達成した。
論文 参考訳（メタデータ） (2020-09-19T11:03:39Z) - RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。
我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。
RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
論文 参考訳（メタデータ） (2020-08-10T04:55:51Z) - Cyclic Differentiable Architecture Search [99.12381460261841]
微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。
我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。
DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
論文 参考訳（メタデータ） (2020-06-18T17:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。