論文の概要: Guided Evolution for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2110.15232v1
- Date: Thu, 28 Oct 2021 15:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 19:59:54.305641
- Title: Guided Evolution for Neural Architecture Search
- Title（参考訳）: ニューラルアーキテクチャ探索のためのガイド付き進化
- Authors: Vasco Lopes, Miguel Santos, Bruno Degardin, Lu\'is A. Alexandre
- Abstract要約: 進化的ニューラルネットワーク探索(NAS)のための新しい手法を提案する。
G-EAの背後にある理論的根拠は、各世代における複数のアーキテクチャの生成と評価によって、検索空間を探索することである。
G-EAは、親突然変異による探索を強制しながら、子孫世代による最も優れたネットワークの活用を強制する。
- 参考スコア（独自算出の注目度）: 1.0499611180329804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Architecture Search (NAS) methods have been successfully applied to
image tasks with excellent results. However, NAS methods are often complex and
tend to converge to local minima as soon as generated architectures seem to
yield good results. In this paper, we propose G-EA, a novel approach for guided
evolutionary NAS. The rationale behind G-EA, is to explore the search space by
generating and evaluating several architectures in each generation at
initialization stage using a zero-proxy estimator, where only the
highest-scoring network is trained and kept for the next generation. This
evaluation at initialization stage allows continuous extraction of knowledge
from the search space without increasing computation, thus allowing the search
to be efficiently guided. Moreover, G-EA forces exploitation of the most
performant networks by descendant generation while at the same time forcing
exploration by parent mutation and by favouring younger architectures to the
detriment of older ones. Experimental results demonstrate the effectiveness of
the proposed method, showing that G-EA achieves state-of-the-art results in
NAS-Bench-201 search space in CIFAR-10, CIFAR-100 and ImageNet16-120, with mean
accuracies of 93.98%, 72.12% and 45.94% respectively.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)法は優れた結果を得た画像処理に成功している。
しかし、NAS法はしばしば複雑であり、生成したアーキテクチャが良い結果をもたらすとすぐに局所的なミニマに収束する傾向がある。
本稿では、誘導進化型NASの新しいアプローチであるG-EAを提案する。
G-EAの背後にある理論的根拠は、ゼロプロキシ推定器を用いて初期化段階で各世代で複数のアーキテクチャを生成し評価することで探索空間を探索することである。
この初期化段階での評価により、計算量を増やすことなく探索空間からの知識の連続抽出が可能となり、探索を効率的に導くことができる。
さらに、G-EAは子孫世代による最も優れたネットワークの活用を強要し、同時に親の突然変異による探索を強要し、より若いアーキテクチャーを古いネットワークの破壊に好んだ。
CIFAR-10, CIFAR-100, ImageNet16-120のNAS-Bench-201探索空間において, 平均精度は93.98%, 72.12%, 45.94%であった。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。
TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。
TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
論文 参考訳（メタデータ） (2024-03-30T07:25:30Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - Guided Evolutionary Neural Architecture Search With Efficient
Performance Estimation [4.637328271312329]
本稿では、ガイド型ニューラルネットワーク探索(NAS)のための新しいアプローチであるGAAを提案する。
GEAは、初期化段階で各世代で複数のアーキテクチャを生成し評価することで進化を導く。
その結果,GAAはNAS-Bench-101,NAS-Bench-201,TransNAS-Bench-101ベンチマークのすべてのデータセットに対して最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-07-22T10:58:32Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - Generative Adversarial Neural Architecture Search [21.05611902967155]
理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。
GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
論文 参考訳（メタデータ） (2021-05-19T18:54:44Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳（メタデータ） (2021-03-23T10:05:58Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - Optimizing Neural Architecture Search using Limited GPU Time in a
Dynamic Search Space: A Gene Expression Programming Approach [0.0]
本稿では,畳み込みモデルの効率的な発見のための進化的ニューラルネットワーク探索手法を提案する。
効率的な検索環境と表現型表現により、遺伝子発現プログラミングはネットワークのセル生成に適応する。
提案手法は手動で設計した畳み込みネットワークやNAS生成ネットワークと類似し, 同様に制約された進化に基づくNAS作業にも勝っている。
論文 参考訳（メタデータ） (2020-05-15T17:32:30Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。