論文の概要: A First Step Towards Runtime Analysis of Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2401.11712v2
• Date: Mon, 8 Apr 2024 12:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 01:26:28.379290
• Title: A First Step Towards Runtime Analysis of Evolutionary Neural Architecture Search
• Title（参考訳）: 進化的ニューラルアーキテクチャ検索のランタイム分析への第一歩
• Authors: Zeqiong Lv, Chao Qian, Yanan Sun,
• Abstract要約: 本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。 我々は、二項分類問題を$textscUNIFORM$と定義し、ニューラルネットワークと分類精度の関係を表す明示的な適合関数を定式化する。 理論的な結果は、ローカルとグローバルの突然変異は、$textscUNIFORM$でほぼ同じパフォーマンスを達成していることを示している。
• 参考スコア（独自算出の注目度）: 24.056523078277053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary neural architecture search (ENAS) employs evolutionary algorithms to find high-performing neural architectures automatically, and has achieved great success. However, compared to the empirical success, its rigorous theoretical analysis has yet to be touched. This work goes preliminary steps toward the mathematical runtime analysis of ENAS. In particular, we define a binary classification problem $\textsc{UNIFORM}$, and formulate an explicit fitness function to represent the relationship between neural architecture and classification accuracy. Furthermore, we consider (1+1)-ENAS algorithm with mutation to optimize the neural architecture, and obtain the following runtime bounds: both the local and global mutations find the optimum in an expected runtime of $\Theta(n)$, where $n$ is the problem size. The theoretical results show that the local and global mutations achieve nearly the same performance on $\textsc{UNIFORM}$. Empirical results also verify the equivalence of these two mutation operators.
• Abstract（参考訳）: 進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムを用いて自動的に高性能なニューラルアーキテクチャを見つけ、大きな成功を収めた。 しかし、実証的な成功と比較すると、厳密な理論分析はまだ触れられていない。 本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。 特に、二項分類問題 $\textsc{UNIFORM}$ を定義し、ニューラルネットワークと分類精度の関係を表す明示的な適合関数を定式化する。 さらに、(1+1)-ENASアルゴリズムは、ニューラルアーキテクチャを最適化し、以下のランタイム境界を得る。 理論的な結果は、局所変異と大域突然変異が$\textsc{UNIFORM}$でほぼ同じ性能を達成することを示している。 経験的な結果は、これらの2つの突然変異作用素の等価性も検証する。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• First Steps Towards a Runtime Analysis of Neuroevolution [2.07180164747172]
  進化的アルゴリズムは、単純な人工ニューラルネットワークの重みとアクティベーション機能を最適化する。 次に、ネットワークによって学習される単純な例関数を定義し、単一のニューロンを持つネットワークと、複数のニューロンと2つのレイヤを持つより高度な構造に対して厳密な実行時解析を行う。 その結果,提案アルゴリズムは1つのニューロンに対して設計された2つのサンプル問題に対して効率が良く,二層ネットワークのサンプル問題に対して少なくとも一定の確率で効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-07-03T07:30:58Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Continuous Cartesian Genetic Programming based representation for Multi-Objective Neural Architecture Search [12.545742558041583]
  我々は、より複雑で高効率な畳み込みニューラルネットワーク(CNN)を設計するための新しいアプローチを提案する。 我々のアプローチは、ニューラルネットワーク探索(NAS)のためのカルテシアン遺伝的プログラミング(CGP)に基づく実ベースCNNとブロックチェーンCNNの表現を組み合わせたものである。 それらが考慮する探索空間の粒度が異なる2つの変種が導入された。
  論文  参考訳（メタデータ） (2023-06-05T07:32:47Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Neural Architecture Search based on Cartesian Genetic Programming Coding Method [6.519170476143571]
  文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。 実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-03-12T09:51:03Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS [18.409809742204896]
  この研究は、予測子ベースのニューラルアーキテクチャ探索を改善するために、新しいグラフベースのニューラルArchiTecture Scheme(別名GATES)を提案する。 Gatesは、その操作を、ニューラルネットワークの実際のデータ処理を模倣した伝播情報の変換としてモデル化する。
  論文  参考訳（メタデータ） (2020-04-04T09:54:49Z)
• NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search [9.038625856798227]
  ニューラルアーキテクチャ探索(NAS)におけるEAの探索能力を高めるためのニューラル予測器誘導進化アルゴリズムを提案する。 NPENAS-BOとNPENAS-NPは、既存のNASアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2020-03-28T17:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。