論文の概要: A First Step Towards Runtime Analysis of Evolutionary Neural
Architecture Search
- arxiv url: http://arxiv.org/abs/2401.11712v1
- Date: Mon, 22 Jan 2024 06:29:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:14:38.256663
- Title: A First Step Towards Runtime Analysis of Evolutionary Neural
Architecture Search
- Title(参考訳): 進化的ニューラルアーキテクチャ検索のランタイム分析への第一歩
- Authors: Zeqiong Lv, Chao Qian, Yanan Sun
- Abstract要約: 進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムを用いて、高性能なニューラルアーキテクチャを自動的に見つける。
本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。
- 参考スコア(独自算出の注目度): 27.03712111864074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evolutionary neural architecture search (ENAS) employs evolutionary
algorithms to find high-performing neural architectures automatically, and has
achieved great success. However, compared to the empirical success, its
rigorous theoretical analysis has yet to be touched. This work goes preliminary
steps toward the mathematical runtime analysis of ENAS. In particular, we
define a binary classification problem UNIFORM, and formulate an explicit
fitness function to represent the relationship between neural architecture and
classification accuracy. Furthermore, we consider (1+1)-ENAS algorithm with
mutation to optimize the neural architecture, and obtain the following runtime
bounds: 1) the one-bit mutation finds the optimum in an expected runtime of
$O(n)$ and $\Omega(\log n)$; 2) the multi-bit mutation finds the optimum in an
expected runtime of $\Theta(n)$. These theoretical results show that one-bit
and multi-bit mutations achieve nearly the same performance on UNIFORM. We
provide insight into the choices of mutation in the ENAS community: although
multi-bit mutation can change the step size to prevent a local trap, this may
not always improve runtime. Empirical results also verify the equivalence of
these two mutation operators. This work begins the runtime analysis of ENAS,
laying the foundation for further theoretical studies to guide the design of
ENAS.
- Abstract(参考訳): 進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムを用いて自動的に高性能なニューラルアーキテクチャを見つける。
しかし、実証的な成功と比較すると、厳密な理論分析はまだ触れられていない。
本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。
特に、二項分類問題 UNIFORM を定義し、ニューラルアーキテクチャと分類精度の関係を表す明示的な適合関数を定式化する。
さらに,(1+1)-enasアルゴリズムとニューラルネットワークの最適化について検討し,以下のランタイム境界を求める。
1) 1ビットの突然変異は、期待ランタイムの$O(n)$と$\Omega(\log n)$の最適値を求める。
2) マルチビット変異は、期待される$\Theta(n)$のランタイムにおける最適値を求める。
これらの理論的な結果は、1ビットおよびマルチビットの変異が均一にほぼ同じ性能を達成することを示している。
我々は、enasコミュニティにおける突然変異の選択についての洞察を提供する: 多ビット変異は、ローカルトラップを防ぐためにステップサイズを変更することができるが、ランタイムを改善するとは限らない。
実験の結果、これら2つの変異演算子の等価性も検証された。
この研究はENASのランタイム解析を開始し、ENASの設計を導くためのさらなる理論的研究の基礎を築いた。
関連論文リスト
- First Steps Towards a Runtime Analysis of Neuroevolution [2.07180164747172]
進化的アルゴリズムは、単純な人工ニューラルネットワークの重みとアクティベーション機能を最適化する。
次に、ネットワークによって学習される単純な例関数を定義し、単一のニューロンを持つネットワークと、複数のニューロンと2つのレイヤを持つより高度な構造に対して厳密な実行時解析を行う。
その結果,提案アルゴリズムは1つのニューロンに対して設計された2つのサンプル問題に対して効率が良く,二層ネットワークのサンプル問題に対して少なくとも一定の確率で効率がよいことがわかった。
論文 参考訳(メタデータ) (2023-07-03T07:30:58Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳(メタデータ) (2023-06-27T11:28:29Z) - Continuous Cartesian Genetic Programming based representation for
Multi-Objective Neural Architecture Search [12.545742558041583]
我々は、より複雑で高効率な畳み込みニューラルネットワーク(CNN)を設計するための新しいアプローチを提案する。
我々のアプローチは、ニューラルネットワーク探索(NAS)のためのカルテシアン遺伝的プログラミング(CGP)に基づく実ベースCNNとブロックチェーンCNNの表現を組み合わせたものである。
それらが考慮する探索空間の粒度が異なる2つの変種が導入された。
論文 参考訳(メタデータ) (2023-06-05T07:32:47Z) - Analyzing the Expected Hitting Time of Evolutionary Computation-based Neural Architecture Search Algorithms [29.385876073356044]
期待ヒット時間(EHT)は、平均計算時間の複雑さを意味するため、理論上の最も重要な問題の一つである。
本稿では,ENASアルゴリズムのEHTを推定するための理論と実験を統合することによって,一般的な手法を提案する。
我々の知る限りでは、この研究はENASアルゴリズムの理論的基盤を確立する最初の試みである。
論文 参考訳(メタデータ) (2022-10-11T12:16:06Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳(メタデータ) (2021-06-21T00:44:11Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Neural Architecture Search based on Cartesian Genetic Programming Coding
Method [6.519170476143571]
文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。
実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
論文 参考訳(メタデータ) (2021-03-12T09:51:03Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳(メタデータ) (2020-06-18T08:23:02Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳(メタデータ) (2020-06-03T05:20:21Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search [9.038625856798227]
ニューラルアーキテクチャ探索(NAS)におけるEAの探索能力を高めるためのニューラル予測器誘導進化アルゴリズムを提案する。
NPENAS-BOとNPENAS-NPは、既存のNASアルゴリズムよりも優れている。
論文 参考訳(メタデータ) (2020-03-28T17:56:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。