論文の概要: Analysis of Expected Hitting Time for Designing Evolutionary Neural Architecture Search Algorithms

• arxiv url: http://arxiv.org/abs/2210.05397v1
• Date: Tue, 11 Oct 2022 12:16:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:55:26.209720
• Title: Analysis of Expected Hitting Time for Designing Evolutionary Neural Architecture Search Algorithms
• Title（参考訳）: 進化的ニューラルアーキテクチャ探索アルゴリズムの設計における待ち時間の解析
• Authors: Zeqiong Lv, Chao Qian, Gary G. Yen, and Yanan Sun
• Abstract要約: 本稿では、共通構成、探索空間分割、遷移確率推定、ヒット時間解析を含むENASアルゴリズムのEHTを推定するための一般的なフレームワークを提案する。 NAS-Bench-101アーキテクチャ探索問題に関する理論的結果について検討し、「ビットベースの公正な突然変異」戦略による1ビットの突然変異は「子孫ベースの公正な突然変異」戦略よりも少ない時間を必要とすることを示した。
• 参考スコア（独自算出の注目度）: 22.666473119336143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary computation-based neural architecture search (ENAS) is a popular technique for automating architecture design of deep neural networks. In recent years, various ENAS algorithms have been proposed and shown promising performance on diverse real-world applications. In contrast to these groundbreaking applications, there is no theoretical guideline for assigning a reasonable running time (mainly affected by the generation number, population size, and evolution operator) given both the anticipated performance and acceptable computation budget on ENAS problems. The expected hitting time (EHT), which refers to the average generations, is considered to analyze the running time of ENAS algorithms. This paper proposes a general framework for estimating the EHT of ENAS algorithms, which includes common configuration, search space partition, transition probability estimation, and hitting time analysis. By exploiting the proposed framework, we consider the so-called ($\lambda$+$\lambda$)-ENAS algorithms with different mutation operators and manage to estimate the lower bounds of the EHT {which are critical for the algorithm to find the global optimum}. Furthermore, we study the theoretical results on the NAS-Bench-101 architecture searching problem, and the results show that the one-bit mutation with "bit-based fair mutation" strategy needs less time than the "offspring-based fair mutation" strategy, and the bitwise mutation operator needs less time than the $q$-bit mutation operator. To the best of our knowledge, this is the first work focusing on the theory of ENAS, and the above observation will be substantially helpful in designing efficient ENAS algorithms.
• Abstract（参考訳）: 進化的計算に基づくニューラルネットワーク探索(ENAS)は、ディープニューラルネットワークのアーキテクチャ設計を自動化する一般的な手法である。 近年、様々なENASアルゴリズムが提案され、様々な実世界のアプリケーションで有望な性能を示している。 これらの画期的なアプリケーションとは対照的に、ENAS問題に対して期待される性能と許容可能な計算予算の両方を考慮し、合理的な実行時間(主に発生数、人口規模、進化演算子の影響)を割り当てる理論的ガイドラインは存在しない。 平均的な世代を示す期待ヒット時間(eht)は、enasアルゴリズムの実行時間を分析すると考えられている。 本稿では、共通構成、探索空間分割、遷移確率推定、ヒット時間解析を含むENASアルゴリズムのEHTを推定するための一般的なフレームワークを提案する。 提案したフレームワークを利用することで、異なる突然変異演算子を持ついわゆる$\lambda$+$\lambda$)-ENASアルゴリズムを検討し、EHT {0} の下限を推定する。 さらに,nas-bench-101アーキテクチャ探索問題に関する理論的結果について検討し,「ビットベースフェアミュータント」戦略による1ビット突然変異は「子孫ベースのフェアミュータント」戦略よりも時間が少なく,ビットワイズ突然変異演算子はq$-bitミュータント演算子よりも時間が少なくなることを示した。 我々の知る限り、これはENASの理論に焦点を当てた最初の研究であり、上記の観測は効率的なENASアルゴリズムの設計に大いに役立つだろう。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• GPT-NAS: Evolutionary Neural Architecture Search with the Generative Pre-Trained Model [25.187467297581073]
  この研究は、GPT(Generative Pre-Trained)モデルによってニューラルネットワークを最適化する、GPT-NASと呼ばれる新しいアーキテクチャ探索アルゴリズムを提案する。 GPT-NASでは、大規模コーパスで事前学習した生成モデルが、ニューラルネットワーク構築の基本法則を学習できると仮定する。 GPT-NAS法は7つの手動設計ニューラルアーキテクチャと競合NAS法によって提供される13のアーキテクチャを著しく上回っている。
  論文  参考訳（メタデータ） (2023-05-09T11:29:42Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS [12.901952926144258]
  NASベンチマークの最近の利用により、低計算資源のプロトタイピングが可能になった。 探索空間の校正クラスタリング解析を行う。 次に、センチロイドを抽出し、NASアルゴリズムを初期化する。
  論文  参考訳（メタデータ） (2021-08-20T11:46:33Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• On the performance of deep learning for numerical optimization: an application to protein structure prediction [0.0]
  本稿では,グローバルな最適化問題に対処するディープラーニングモデルの性能について述べる。 提案手法は、効率的なニューラルネットワークを生成するために、NAS(Neural Architecture Search)の概念を採用する。 実験により、手書きのアルゴリズムと比較して、生成された学習モデルが競合する結果が得られることが明らかになった。
  論文  参考訳（メタデータ） (2020-12-17T17:01:30Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search [22.483917379706725]
  進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。 本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。 提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-07T12:33:01Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。