論文の概要: Single-level Optimization For Differential Architecture Search
- arxiv url: http://arxiv.org/abs/2012.11337v1
- Date: Tue, 15 Dec 2020 18:40:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:15:43.512055
- Title: Single-level Optimization For Differential Architecture Search
- Title（参考訳）: 差分アーキテクチャ探索のためのシングルレベル最適化
- Authors: Pengfei Hou, Ying Jin
- Abstract要約: differential architecture search (darts)は、アーキテクチャパラメータの勾配をネットワークの重み付けに偏らせる。
本研究では,Sigmoidなどの非競合アクティベーション関数と2レベル最適化を置き換え,softmaxを置き換えることを提案する。
NAS Benchmark 201の実験は、仮説を検証し、ほぼ最適なアーキテクチャを安定的に見つけます。
- 参考スコア（独自算出の注目度）: 6.3531384587183135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we point out that differential architecture search (DARTS)
makes gradient of architecture parameters biased for network weights and
architecture parameters are updated in different datasets alternatively in the
bi-level optimization framework. The bias causes the architecture parameters of
non-learnable operations to surpass that of learnable operations. Moreover,
using softmax as architecture parameters' activation function and inappropriate
learning rate would exacerbate the bias. As a result, it's frequently observed
that non-learnable operations are dominated in the search phase. To reduce the
bias, we propose to use single-level to replace bi-level optimization and
non-competitive activation function like sigmoid to replace softmax. As a
result, we could search high-performance architectures steadily. Experiments on
NAS Benchmark 201 validate our hypothesis and stably find out nearly the
optimal architecture. On DARTS space, we search the state-of-the-art
architecture with 77.0% top1 accuracy (training setting follows PDARTS and
without any additional module) on ImageNet-1K and steadily search architectures
up-to 76.5% top1 accuracy (but not select the best from the searched
architectures) which is comparable with current reported best result.
- Abstract（参考訳）: 本稿では,差分アーキテクチャ探索(darts)により,アーキテクチャパラメータの勾配がネットワーク重みに偏り,アーキテクチャパラメータが異なるデータセットで更新され,代わりにbiレベル最適化フレームワークで更新されることを示す。
このバイアスは、学習不可能な操作のアーキテクチャパラメータが学習可能な操作のパラメータを超える原因となる。
さらに、softmaxをアーキテクチャパラメータのアクティベーション関数と不適切な学習率として使用すると、バイアスが悪化する。
その結果, 探索段階において非学習操作が支配的であることがしばしば観察される。
バイアスを軽減するために,二レベル最適化とsigmoidのような非競合的アクティベーション関数の置き換えにシングルレベルを用いることを提案する。
その結果,高性能アーキテクチャを着実に探索することができた。
NAS Benchmark 201の実験は、我々の仮説を検証し、ほぼ最適なアーキテクチャを安定して見つける。
DARTS空間上では、ImageNet-1K上で77.0%の最先端アーキテクチャ(PDARTSと追加モジュールを含まないトレーニング設定)を検索し、現在報告されている最高の結果に匹敵する76.5%の最先端アーキテクチャ(検索されたアーキテクチャからベストを選ばない)を着実に検索する。
関連論文リスト
- BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。
CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
論文 参考訳（メタデータ） (2021-09-30T17:15:17Z) - Single-DARTS: Towards Stable Architecture Search [7.894638544388165]
シングルDARTSを提案する。これは単にシングルレベル最適化を使い、ネットワーク重みとアーキテクチャパラメータを同時に更新するだけである。
実験結果から,Single-DARTSは主流の検索空間における最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2021-08-18T13:00:39Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳（メタデータ） (2021-08-10T00:53:39Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Multi-Objective Neural Architecture Search Based on Diverse Structures
and Adaptive Recommendation [4.595675084986132]
畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。
本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。
実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
論文 参考訳（メタデータ） (2020-07-06T13:42:33Z) - Cyclic Differentiable Architecture Search [99.12381460261841]
微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。
我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。
DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
論文 参考訳（メタデータ） (2020-06-18T17:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。