論文の概要: Shortest Edit Path Crossover: A Theory-driven Solution to the Permutation Problem in Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2210.14016v1
• Date: Tue, 25 Oct 2022 13:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:10:45.803180
• Title: Shortest Edit Path Crossover: A Theory-driven Solution to the Permutation Problem in Evolutionary Neural Architecture Search
• Title（参考訳）: shortest edit path crossover: 進化的ニューラルアーキテクチャ探索における置換問題に対する理論駆動解
• Authors: Xin Qiu, Risto Miikkulainen
• Abstract要約: この研究はNASコンテキストにおけるクロスオーバーと突然変異の挙動に関する最初の理論的解析を行う。 グラフ空間における最短編集パス(SEP)に基づく新しいクロスオーバー演算子を提案する。 SEPクロスオーバーは置換問題を克服することが示され、その結果、SEPクロスオーバーによって生成された子孫は理論上、より良い改善が期待されることが証明された。
• 参考スコア（独自算出の注目度）: 20.948038514886377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary algorithms (EAs) have gained attention recently due to their success in neural architecture search (NAS). However, whereas traditional EAs draw much power from crossover operations, most evolutionary NAS methods deploy only mutation operators. The main reason is the permutation problem: The mapping between genotype and phenotype in traditional graph representations is many-to-one, leading to a disruptive effect of standard crossover. This work conducts the first theoretical analysis of the behaviors of crossover and mutation in the NAS context, and proposes a new crossover operator based on the shortest edit path (SEP) in graph space. The SEP crossover is shown to overcome the permutation problem, and as a result, offspring generated by the SEP crossover is theoretically proved to have a better expected improvement in terms of graph edit distance to global optimum, compared to mutation and standard crossover. Experiments further show that the SEP crossover significantly outperforms mutation and standard crossover on three state-of-the-art NAS benchmarks. The SEP crossover therefore allows taking full advantage of evolution in NAS, and potentially other similar design problems as well.
• Abstract（参考訳）: 進化的アルゴリズム(EA)は最近、ニューラルアーキテクチャサーチ(NAS)の成功により注目を集めている。 しかしながら、伝統的なEAはクロスオーバー操作から多くのパワーを引き出す一方、ほとんどの進化的NASメソッドは突然変異演算子のみをデプロイする。 伝統的なグラフ表現における遺伝子型と表現型の間のマッピングは多対一であり、標準クロスオーバーの破壊的な効果をもたらす。 本研究はNAS文脈におけるクロスオーバーと突然変異の挙動に関する最初の理論的解析を行い,グラフ空間における最短編集パス(SEP)に基づく新たなクロスオーバー演算子を提案する。 SEPクロスオーバーは置換問題を克服することが示され、その結果、SEPクロスオーバーによって生成された子孫は、突然変異や標準クロスオーバーに比べて、グラフ編集距離から大域的最適までの改善が期待されることが理論的に証明された。 さらに実験により、SEPクロスオーバーは3つの最先端NASベンチマークで突然変異と標準クロスオーバーを著しく上回っていることが示された。 したがって、SEPのクロスオーバーはNASの進化を最大限に活用することができる。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• Crossover Can Guarantee Exponential Speed-Ups in Evolutionary Multi-Objective Optimisation [4.212663349859165]
  本稿では,よく知られたEMOアルゴリズムGSEMOとNSGA-IIの理論的解析を行う。 免疫刺激による過変異は指数的最適化時間を回避することはできない。
  論文  参考訳（メタデータ） (2023-01-31T15:03:34Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• Analyzing the Expected Hitting Time of Evolutionary Computation-based Neural Architecture Search Algorithms [29.385876073356044]
  期待ヒット時間(EHT)は、平均計算時間の複雑さを意味するため、理論上の最も重要な問題の一つである。 本稿では,ENASアルゴリズムのEHTを推定するための理論と実験を統合することによって,一般的な手法を提案する。 我々の知る限りでは、この研究はENASアルゴリズムの理論的基盤を確立する最初の試みである。
  論文  参考訳（メタデータ） (2022-10-11T12:16:06Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• Understanding the wiring evolution in differentiable neural architecture search [114.31723873105082]
  識別可能なニューラルネットワーク探索手法が配線トポロジを効果的に発見するかどうかについては議論がある。 既存の差別化可能なNASフレームワークの基盤メカニズムについて検討する。
  論文  参考訳（メタデータ） (2020-09-02T18:08:34Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。