論文の概要: A First Step Towards Runtime Analysis of Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2401.11712v1
• Date: Mon, 22 Jan 2024 06:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:14:38.256663
• Title: A First Step Towards Runtime Analysis of Evolutionary Neural Architecture Search
• Title（参考訳）: 進化的ニューラルアーキテクチャ検索のランタイム分析への第一歩
• Authors: Zeqiong Lv, Chao Qian, Yanan Sun
• Abstract要約: 進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムを用いて、高性能なニューラルアーキテクチャを自動的に見つける。 本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。
• 参考スコア（独自算出の注目度）: 27.03712111864074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary neural architecture search (ENAS) employs evolutionary algorithms to find high-performing neural architectures automatically, and has achieved great success. However, compared to the empirical success, its rigorous theoretical analysis has yet to be touched. This work goes preliminary steps toward the mathematical runtime analysis of ENAS. In particular, we define a binary classification problem UNIFORM, and formulate an explicit fitness function to represent the relationship between neural architecture and classification accuracy. Furthermore, we consider (1+1)-ENAS algorithm with mutation to optimize the neural architecture, and obtain the following runtime bounds: 1) the one-bit mutation finds the optimum in an expected runtime of $O(n)$ and $\Omega(\log n)$; 2) the multi-bit mutation finds the optimum in an expected runtime of $\Theta(n)$. These theoretical results show that one-bit and multi-bit mutations achieve nearly the same performance on UNIFORM. We provide insight into the choices of mutation in the ENAS community: although multi-bit mutation can change the step size to prevent a local trap, this may not always improve runtime. Empirical results also verify the equivalence of these two mutation operators. This work begins the runtime analysis of ENAS, laying the foundation for further theoretical studies to guide the design of ENAS.
• Abstract（参考訳）: 進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムを用いて自動的に高性能なニューラルアーキテクチャを見つける。 しかし、実証的な成功と比較すると、厳密な理論分析はまだ触れられていない。 本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。 特に、二項分類問題 UNIFORM を定義し、ニューラルアーキテクチャと分類精度の関係を表す明示的な適合関数を定式化する。 さらに,(1+1)-enasアルゴリズムとニューラルネットワークの最適化について検討し,以下のランタイム境界を求める。 1) 1ビットの突然変異は、期待ランタイムの$O(n)$と$\Omega(\log n)$の最適値を求める。 2) マルチビット変異は、期待される$\Theta(n)$のランタイムにおける最適値を求める。 これらの理論的な結果は、1ビットおよびマルチビットの変異が均一にほぼ同じ性能を達成することを示している。 我々は、enasコミュニティにおける突然変異の選択についての洞察を提供する: 多ビット変異は、ローカルトラップを防ぐためにステップサイズを変更することができるが、ランタイムを改善するとは限らない。 実験の結果、これら2つの変異演算子の等価性も検証された。 この研究はENASのランタイム解析を開始し、ENASの設計を導くためのさらなる理論的研究の基礎を築いた。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• First Steps Towards a Runtime Analysis of Neuroevolution [2.07180164747172]
  進化的アルゴリズムは、単純な人工ニューラルネットワークの重みとアクティベーション機能を最適化する。 次に、ネットワークによって学習される単純な例関数を定義し、単一のニューロンを持つネットワークと、複数のニューロンと2つのレイヤを持つより高度な構造に対して厳密な実行時解析を行う。 その結果,提案アルゴリズムは1つのニューロンに対して設計された2つのサンプル問題に対して効率が良く,二層ネットワークのサンプル問題に対して少なくとも一定の確率で効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-07-03T07:30:58Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Continuous Cartesian Genetic Programming based representation for Multi-Objective Neural Architecture Search [12.545742558041583]
  我々は、より複雑で高効率な畳み込みニューラルネットワーク(CNN)を設計するための新しいアプローチを提案する。 我々のアプローチは、ニューラルネットワーク探索(NAS)のためのカルテシアン遺伝的プログラミング(CGP)に基づく実ベースCNNとブロックチェーンCNNの表現を組み合わせたものである。 それらが考慮する探索空間の粒度が異なる2つの変種が導入された。
  論文  参考訳（メタデータ） (2023-06-05T07:32:47Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Neural Architecture Search based on Cartesian Genetic Programming Coding Method [6.519170476143571]
  文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。 実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-03-12T09:51:03Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS [18.409809742204896]
  この研究は、予測子ベースのニューラルアーキテクチャ探索を改善するために、新しいグラフベースのニューラルArchiTecture Scheme(別名GATES)を提案する。 Gatesは、その操作を、ニューラルネットワークの実際のデータ処理を模倣した伝播情報の変換としてモデル化する。
  論文  参考訳（メタデータ） (2020-04-04T09:54:49Z)
• NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search [9.038625856798227]
  ニューラルアーキテクチャ探索(NAS)におけるEAの探索能力を高めるためのニューラル予測器誘導進化アルゴリズムを提案する。 NPENAS-BOとNPENAS-NPは、既存のNASアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2020-03-28T17:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。