論文の概要: A Survey on Surrogate-assisted Efficient Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2206.01520v1
- Date: Fri, 3 Jun 2022 12:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-06 15:23:26.503721
- Title: A Survey on Surrogate-assisted Efficient Neural Architecture Search
- Title（参考訳）: サーロゲートを用いた効率的なニューラルネットワーク探索に関する研究
- Authors: Shiqing Liu, Haoyu Zhang and Yaochu Jin
- Abstract要約: ニューラルアーキテクチャサーチ(NAS)は近年,ディープラーニングコミュニティで人気が高まっている。
NASは、NASの探索過程において大量の性能推定を必要とするため、依然として手間と時間を要する。
NASの大きな限界を解決するためには、NASの設計においてNASの効率を向上させることが不可欠である。
- 参考スコア（独自算出の注目度）: 18.914781707473296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) has become increasingly popular in the deep
learning community recently, mainly because it can provide an opportunity to
allow interested users without rich expertise to benefit from the success of
deep neural networks (DNNs). However, NAS is still laborious and time-consuming
because a large number of performance estimations are required during the
search process of NAS, and training DNNs is computationally intensive. To solve
the major limitation of NAS, improving the efficiency of NAS is essential in
the design of NAS. This paper begins with a brief introduction to the general
framework of NAS. Then, the methods for evaluating network candidates under the
proxy metrics are systematically discussed. This is followed by a description
of surrogate-assisted NAS, which is divided into three different categories,
namely Bayesian optimization for NAS, surrogate-assisted evolutionary
algorithms for NAS, and MOP for NAS. Finally, remaining challenges and open
research questions are discussed, and promising research topics are suggested
in this emerging field.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク(DNN)の成功の恩恵を受けるために、豊富な専門知識のない興味のあるユーザを許可する機会を提供するため、近年、ディープラーニングコミュニティで人気が高まっている。
しかし、NASの探索過程において大量の性能推定が必要であり、DNNの訓練は計算集約的であるため、NASは依然として精力的で時間を要する。
NASの大きな限界を解決するためには、NASの設計においてNASの効率を向上させることが不可欠である。
本稿は、NASの一般的な枠組みの簡単な紹介から始まる。
次に、プロキシメトリクスに基づくネットワーク候補を評価する手法を体系的に検討する。
次に、GASのベイズ最適化(Bayesian Optimization)、NASのサロゲート支援進化アルゴリズム(surrogate-assisted evolution algorithm)、NASのMOP(MOP)の3つのカテゴリに分けられる。
最後に、未解決の課題とオープンリサーチの課題を議論し、この新興分野で有望な研究トピックを提案する。
関連論文リスト
- How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS
Predictor [22.87207410692821]
我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。
我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
論文 参考訳（メタデータ） (2023-11-30T10:51:46Z) - DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。
本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。
BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
論文 参考訳（メタデータ） (2023-05-26T13:58:18Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳（メタデータ） (2022-05-04T16:30:26Z) - NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。
我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:13:18Z) - Lessons from the Clustering Analysis of a Search Space: A Centroid-based
Approach to Initializing NAS [12.901952926144258]
NASベンチマークの最近の利用により、低計算資源のプロトタイピングが可能になった。
探索空間の校正クラスタリング解析を行う。
次に、センチロイドを抽出し、NASアルゴリズムを初期化する。
論文 参考訳（メタデータ） (2021-08-20T11:46:33Z) - TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search [98.22779489340869]
本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
論文 参考訳（メタデータ） (2021-05-25T12:15:21Z) - A Comprehensive Survey on Hardware-Aware Neural Architecture Search [6.23453131728063]
ニューラルアーキテクチャ検索(NAS)メソッドは人気が高まっています。
NASはここ数年で広範囲に研究されている。
実世界の問題にNASを適用することは依然として大きな課題であり、広く実用的ではない。
人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。
ハードウェア認識NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの検索をより複雑にし、いくつかの質問を開く。
論文 参考訳（メタデータ） (2021-01-22T21:13:46Z) - AdvantageNAS: Efficient Neural Architecture Search with Credit
Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。
アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。
NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文 参考訳（メタデータ） (2020-12-11T05:45:03Z) - A Comprehensive Survey of Neural Architecture Search: Challenges and
Solutions [48.76705090826339]
ニューラルネットワーク探索(NAS)は革命的アルゴリズムであり、関連する研究は複雑でリッチである。
まず、初期のNASアルゴリズムの特徴の概要から始め、これらの初期のNASアルゴリズムの問題を要約する。
さらに,これらの研究の詳細な分析,比較,要約を行う。
論文 参考訳（メタデータ） (2020-06-01T13:08:03Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。