論文の概要: Runtime Analysis of Evolutionary NAS for Multiclass Classification

• arxiv url: http://arxiv.org/abs/2506.06019v1
• Date: Fri, 06 Jun 2025 12:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.462857
• Title: Runtime Analysis of Evolutionary NAS for Multiclass Classification
• Title（参考訳）: 多クラス分類のための進化的NASの実行時解析
• Authors: Zeqiong Lv, Chao Qian, Yun Liu, Jiahao Fan, Yanan Sun,
• Abstract要約: 1+1)-ENASアルゴリズムを1ビットおよびビットワイズで検討し、期待されるランタイム上の上限と下限を解析する。 両変異を用いたアルゴリズムは、期待実行時上限の$O(rMlnrM)$と下位境界の$Omega(rMlnM)$との最適値を求めることができる。
• 参考スコア（独自算出の注目度）: 25.67863839453669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary neural architecture search (ENAS) is a key part of evolutionary machine learning, which commonly utilizes evolutionary algorithms (EAs) to automatically design high-performing deep neural architectures. During past years, various ENAS methods have been proposed with exceptional performance. However, the theory research of ENAS is still in the infant. In this work, we step for the runtime analysis, which is an essential theory aspect of EAs, of ENAS upon multiclass classification problems. Specifically, we first propose a benchmark to lay the groundwork for the analysis. Furthermore, we design a two-level search space, making it suitable for multiclass classification problems and consistent with the common settings of ENAS. Based on both designs, we consider (1+1)-ENAS algorithms with one-bit and bit-wise mutations, and analyze their upper and lower bounds on the expected runtime. We prove that the algorithm using both mutations can find the optimum with the expected runtime upper bound of $O(rM\ln{rM})$ and lower bound of $\Omega(rM\ln{M})$. This suggests that a simple one-bit mutation may be greatly considered, given that most state-of-the-art ENAS methods are laboriously designed with the bit-wise mutation. Empirical studies also support our theoretical proof.
• Abstract（参考訳）: 進化的ニューラルネットワークサーチ(Evolutionary Neural Architecture Search、ENAS)は進化的機械学習の重要な部分であり、進化的アルゴリズム(EA)を使用して、高性能なディープニューラルネットワークを自動設計する。 過去数年間、様々なENAS法が異例のパフォーマンスで提案されてきた。 しかし、ENASの理論研究はまだ幼児である。 本研究では,多クラス分類問題に対する ENAS の EA の本質的理論的側面である実行時解析を段階的に進める。 具体的には,まずまず,解析の基盤となるベンチマークを提案する。 さらに,2段階探索空間を設計し,多クラス分類問題に適合し,ENASの共通設定と整合性を持たせる。 どちらの設計にもとづいて, 1+1)-ENASアルゴリズムを1ビット, ビットワイズで検討し, 期待される実行時の上限値と下限値について解析する。 両変異を用いたアルゴリズムは、期待実行時上限$O(rM\ln{rM})$と下限$\Omega(rM\ln{M})$との最適値を求めることができる。 このことは、ほとんどの最先端のENAS法がビットワイズ変異で精力的に設計されていることを考えると、単純な1ビットの突然変異が大いに考慮される可能性があることを示唆している。 実証的研究も我々の理論実証を支持している。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• A First Step Towards Runtime Analysis of Evolutionary Neural Architecture Search [24.056523078277053]
  本研究は、ENASの数学的ランタイム解析に向けた予備的なステップである。 我々は、二項分類問題を$textscUNIFORM$と定義し、ニューラルネットワークと分類精度の関係を表す明示的な適合関数を定式化する。 理論的な結果は、ローカルとグローバルの突然変異は、$textscUNIFORM$でほぼ同じパフォーマンスを達成していることを示している。
  論文  参考訳（メタデータ） (2024-01-22T06:29:22Z)
• Analyzing the Expected Hitting Time of Evolutionary Computation-based Neural Architecture Search Algorithms [29.385876073356044]
  期待ヒット時間(EHT)は、平均計算時間の複雑さを意味するため、理論上の最も重要な問題の一つである。 本稿では,ENASアルゴリズムのEHTを推定するための理論と実験を統合することによって,一般的な手法を提案する。 我々の知る限りでは、この研究はENASアルゴリズムの理論的基盤を確立する最初の試みである。
  論文  参考訳（メタデータ） (2022-10-11T12:16:06Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。