論文の概要: Semi-Supervised Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2002.10389v4
- Date: Tue, 3 Nov 2020 09:44:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 03:10:26.335051
- Title: Semi-Supervised Neural Architecture Search
- Title（参考訳）: 半スーパービジョン型ニューラルアーキテクチャサーチ
- Authors: Renqian Luo, Xu Tan, Rui Wang, Tao Qin, Enhong Chen, Tie-Yan Liu
- Abstract要約: SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。
NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。
低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
- 参考スコア（独自算出の注目度）: 185.0651567642238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) relies on a good controller to generate
better architectures or predict the accuracy of given architectures. However,
training the controller requires both abundant and high-quality pairs of
architectures and their accuracy, while it is costly to evaluate an
architecture and obtain its accuracy. In this paper, we propose SemiNAS, a
semi-supervised NAS approach that leverages numerous unlabeled architectures
(without evaluation and thus nearly no cost). Specifically, SemiNAS 1) trains
an initial accuracy predictor with a small set of architecture-accuracy data
pairs; 2) uses the trained accuracy predictor to predict the accuracy of large
amount of architectures (without evaluation); and 3) adds the generated data
pairs to the original data to further improve the predictor. The trained
accuracy predictor can be applied to various NAS algorithms by predicting the
accuracy of candidate architectures for them. SemiNAS has two advantages: 1) It
reduces the computational cost under the same accuracy guarantee. On
NASBench-101 benchmark dataset, it achieves comparable accuracy with
gradient-based method while using only 1/7 architecture-accuracy pairs. 2) It
achieves higher accuracy under the same computational cost. It achieves 94.02%
test accuracy on NASBench-101, outperforming all the baselines when using the
same number of architectures. On ImageNet, it achieves 23.5% top-1 error rate
(under 600M FLOPS constraint) using 4 GPU-days for search. We further apply it
to LJSpeech text to speech task and it achieves 97% intelligibility rate in the
low-resource setting and 15% test error rate in the robustness setting, with
9%, 7% improvements over the baseline respectively.
- Abstract（参考訳）: neural architecture search (nas) は優れたコントローラに依存し、より良いアーキテクチャを生成したり、与えられたアーキテクチャの精度を予測する。
しかし、コントローラのトレーニングには、アーキテクチャの豊富で高品質なペアと、その正確さが必要であるが、アーキテクチャを評価し、その正確さを得るのにコストがかかる。
本稿では,多くの未ラベルアーキテクチャを活用する半教師付きNASアプローチであるSemiNASを提案する。
具体的には、SemiNAS
1) アーキテクチャ-精度データペアの小さなセットで初期精度予測器を訓練する。
2) 訓練済みの精度予測器を用いて(評価なしで)大量の建築の精度を予測する。
3) 生成されたデータペアを元のデータに追加し、予測器をさらに改善する。
トレーニングされた精度予測器は、候補アーキテクチャの精度を予測することにより、様々なNASアルゴリズムに適用することができる。
SemiNASには2つの利点がある。
1) 計算コストを同じ精度で削減する。
NASBench-101ベンチマークデータセットでは、勾配法と同等の精度を達成し、1/7のアーキテクチャ精度ペアのみを使用する。
2) 同じ計算コストで高い精度を実現する。
NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合のすべてのベースラインを上回っている。
ImageNetでは、検索に4つのGPUデイを使用して、23.5%のトップ1エラーレート(600万FLOPS制約下で)を達成する。
さらにLJSpeechテキストを音声タスクに適用し,低リソース環境では97%,ロバストネス環境では15%,ベースライン上では9%,7%の精度向上を実現した。
関連論文リスト
- DAS: Neural Architecture Search via Distinguishing Activation Score [21.711985665733653]
ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。
Darts-training-bench(DTB)と呼ばれるデータセットを提案し、既存のデータセットでアーキテクチャのトレーニング状態が存在しないギャップを埋める。
提案手法は,NAS-Bench-101,Network Design Spaces,提案DBBの1.04$times$ - 1.56$times$の改善を実現している。
論文 参考訳（メタデータ） (2022-12-23T04:02:46Z) - NAAP-440 Dataset and Baseline for Neural Architecture Accuracy
Prediction [1.2183405753834562]
440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。
実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。
このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
論文 参考訳（メタデータ） (2022-09-14T13:21:39Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳（メタデータ） (2020-07-09T13:28:49Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - PONAS: Progressive One-shot Neural Architecture Search for Very
Efficient Deployment [9.442139459221783]
我々は,進歩的NASとワンショット手法の利点を組み合わせた,プログレッシブワンショットニューラルアーキテクチャサーチ(PONAS)を提案する。
PONASは10秒で特別なネットワークのアーキテクチャを見つけることができる。
ImageNetの分類では、75.2%のトップ1の精度が得られる。
論文 参考訳（メタデータ） (2020-03-11T05:00:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。