論文の概要: A Data-driven Approach to Neural Architecture Search Initialization
- arxiv url: http://arxiv.org/abs/2111.03524v1
- Date: Fri, 5 Nov 2021 14:30:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 15:13:56.658943
- Title: A Data-driven Approach to Neural Architecture Search Initialization
- Title（参考訳）: ニューラルネットワークの検索初期化に対するデータ駆動アプローチ
- Authors: Kalifou Ren\'e Traor\'e, Andr\'es Camero and Xiao Xiang Zhu
- Abstract要約: 人口ベースNASアルゴリズムを初期化するためのデータ駆動手法を提案する。
ランダムおよびラテンハイパーキューブサンプリングに対する提案手法のベンチマークを行った。
- 参考スコア（独自算出の注目度）: 12.901952926144258
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Algorithmic design in neural architecture search (NAS) has received a lot of
attention, aiming to improve performance and reduce computational cost. Despite
the great advances made, few authors have proposed to tailor initialization
techniques for NAS. However, literature shows that a good initial set of
solutions facilitate finding the optima. Therefore, in this study, we propose a
data-driven technique to initialize a population-based NAS algorithm.
Particularly, we proposed a two-step methodology. First, we perform a
calibrated clustering analysis of the search space, and second, we extract the
centroids and use them to initialize a NAS algorithm. We benchmark our proposed
approach against random and Latin hypercube sampling initialization using three
population-based algorithms, namely a genetic algorithm, evolutionary
algorithm, and aging evolution, on CIFAR-10. More specifically, we use
NAS-Bench-101 to leverage the availability of NAS benchmarks. The results show
that compared to random and Latin hypercube sampling, the proposed
initialization technique enables achieving significant long-term improvements
for two of the search baselines, and sometimes in various search scenarios
(various training budgets). Moreover, we analyze the distributions of solutions
obtained and find that that the population provided by the data-driven
initialization technique enables retrieving local optima (maxima) of high
fitness and similar configurations.
- Abstract（参考訳）: neural architecture search(nas)のアルゴリズム設計は、パフォーマンスの向上と計算コストの削減を目的として、多くの注目を集めている。
大きな進歩にもかかわらず、nasの初期化技術を調整することを提案した著者はほとんどいない。
しかし、文献によれば、解のよい初期集合は最適解の発見を容易にする。
そこで本研究では,人口ベースNASアルゴリズムを初期化するデータ駆動手法を提案する。
特に,二段階法を提案する。
まず,探索空間のクラスタリング解析を行い,次にセンタロイドを抽出してnasアルゴリズムの初期化を行う。
CIFAR-10上で,遺伝的アルゴリズム,進化アルゴリズム,老化進化の3つのアルゴリズムを用いて,ランダムおよびラテンハイパーキューブサンプリング初期化に対する提案手法をベンチマークした。
具体的には、NASベンチマークの可用性を活用するためにNAS-Bench-101を使用します。
提案手法は,ランダムおよびラテンハイパーキューブサンプリングと比較して,検索ベースラインの2つ,時には様々な検索シナリオ(各種トレーニング予算)において,大幅な長期的改善を実現することができることを示す。
さらに,得られた解の分布を分析し,データ駆動初期化法により得られた集団が,高適合性および類似構成の局所最適値(maxima)を取得できることを見出した。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳（メタデータ） (2023-06-27T11:28:29Z) - Speeding up NAS with Adaptive Subset Selection [21.31075249079979]
ニューラルアーキテクチャサーチ(NAS)に対する適応的サブセット選択手法を提案する。
両分野から最先端技術を利用するアルゴリズムを考案する。
結果は複数のデータセットで一致しています。
論文 参考訳（メタデータ） (2022-11-02T19:48:42Z) - Going Beyond Neural Architecture Search with Sampling-based Neural
Ensemble Search [31.059040393415003]
本稿では,Nurural Ensemble Search via Smpling (NESS) フレームワークに基づく2つの新しいサンプリングアルゴリズムを提案する。
我々のNESSアルゴリズムは、分類タスクと対角防御タスクの両方において改善された性能を達成できることが示されている。
論文 参考訳（メタデータ） (2021-09-06T15:18:37Z) - NASI: Label- and Data-agnostic Neural Architecture Search at
Initialization [35.18069719489172]
我々はNAS at Initialization (NASI)と呼ばれる新しいNASアルゴリズムを提案する。
NASIはニューラル・タンジェント・カーネルの機能を利用して、候補アーキテクチャの収束性能を特徴づける。
NASIはまた、CIFAR-10/100やImageNetなど、さまざまなデータセットで競合する検索効率を実現している。
論文 参考訳（メタデータ） (2021-09-02T09:49:28Z) - Lessons from the Clustering Analysis of a Search Space: A Centroid-based
Approach to Initializing NAS [12.901952926144258]
NASベンチマークの最近の利用により、低計算資源のプロトタイピングが可能になった。
探索空間の校正クラスタリング解析を行う。
次に、センチロイドを抽出し、NASアルゴリズムを初期化する。
論文 参考訳（メタデータ） (2021-08-20T11:46:33Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-17T12:19:49Z) - Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。
探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。
これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
論文 参考訳（メタデータ） (2020-11-24T11:36:36Z) - Hyperparameter Optimization in Neural Networks via Structured Sparse
Recovery [54.60327265077322]
スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。
本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。
本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
論文 参考訳（メタデータ） (2020-07-07T00:57:09Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。