論文の概要: Shortest Edit Path Crossover: A Theory-driven Solution to the Permutation Problem in Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2210.14016v4
• Date: Mon, 29 May 2023 03:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 03:13:37.617025
• Title: Shortest Edit Path Crossover: A Theory-driven Solution to the Permutation Problem in Evolutionary Neural Architecture Search
• Title（参考訳）: shortest edit path crossover: 進化的ニューラルアーキテクチャ探索における置換問題に対する理論駆動解
• Authors: Xin Qiu, Risto Miikkulainen
• Abstract要約: 人口ベースサーチは、ブラックボックスニューラルネットワークサーチ(NAS)の強化学習(Reinforcement Learning, RL)に代わる可能性として浮上している。 ブラックボックスNASにおける変異,クロスオーバー,RLの挙動に関する最初の理論的解析を行った。 グラフ空間における最短編集パス(SEP)に基づく新しいクロスオーバー演算子を提案する。
• 参考スコア（独自算出の注目度）: 20.948038514886377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Population-based search has recently emerged as a possible alternative to Reinforcement Learning (RL) for black-box neural architecture search (NAS). It performs well in practice even though it is not theoretically well understood. In particular, whereas traditional population-based search methods such as evolutionary algorithms (EAs) draw much power from crossover operations, it is difficult to take advantage of them in NAS. The main obstacle is believed to be the permutation problem: The mapping between genotype and phenotype in traditional graph representations is many-to-one, leading to a disruptive effect of standard crossover. This paper presents the first theoretical analysis of the behaviors of mutation, crossover and RL in black-box NAS, and proposes a new crossover operator based on the shortest edit path (SEP) in graph space. The SEP crossover is shown theoretically to overcome the permutation problem, and as a result, have a better expected improvement compared to mutation, standard crossover and RL. Further, it empirically outperform these other methods on state-of-the-art NAS benchmarks. The SEP crossover therefore allows taking full advantage of population-based search in NAS, and the underlying theory can serve as a foundation for deeper understanding of black-box NAS methods in general.
• Abstract（参考訳）: 人口ベースの検索は、最近、black-box neural architecture search(nas)の強化学習(rl)の代替案として登場した。 理論上は理解されていないものの、実際はよく機能する。 特に、進化的アルゴリズム(eas)のような伝統的な集団ベースの探索手法はクロスオーバー操作から多くのパワーを得られるが、nasではそれらを利用するのは難しい。 伝統的なグラフ表現における遺伝子型と表現型の間のマッピングは多対多であり、標準クロスオーバーの破壊的効果をもたらす。 本稿では,ブラックボックスNASにおける突然変異,クロスオーバー,RLの挙動に関する最初の理論的解析を行い,グラフ空間における最短編集パス(SEP)に基づく新たなクロスオーバー演算子を提案する。 SEPクロスオーバーは理論的には置換問題を克服するために示され、その結果、突然変異、標準クロスオーバー、RLよりも期待された改善が得られる。 さらに、最先端NASベンチマークにおいて、これらの他の手法よりも経験的に優れている。 したがって、SEPクロスオーバーはNASにおける人口ベースの探索を最大限に活用することができ、その基礎となる理論は一般にブラックボックスNAS法の深い理解の基礎となる。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• Crossover Can Guarantee Exponential Speed-Ups in Evolutionary Multi-Objective Optimisation [4.212663349859165]
  本稿では,よく知られたEMOアルゴリズムGSEMOとNSGA-IIの理論的解析を行う。 免疫刺激による過変異は指数的最適化時間を回避することはできない。
  論文  参考訳（メタデータ） (2023-01-31T15:03:34Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• Analyzing the Expected Hitting Time of Evolutionary Computation-based Neural Architecture Search Algorithms [29.385876073356044]
  期待ヒット時間(EHT)は、平均計算時間の複雑さを意味するため、理論上の最も重要な問題の一つである。 本稿では,ENASアルゴリズムのEHTを推定するための理論と実験を統合することによって,一般的な手法を提案する。 我々の知る限りでは、この研究はENASアルゴリズムの理論的基盤を確立する最初の試みである。
  論文  参考訳（メタデータ） (2022-10-11T12:16:06Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• Understanding the wiring evolution in differentiable neural architecture search [114.31723873105082]
  識別可能なニューラルネットワーク探索手法が配線トポロジを効果的に発見するかどうかについては議論がある。 既存の差別化可能なNASフレームワークの基盤メカニズムについて検討する。
  論文  参考訳（メタデータ） (2020-09-02T18:08:34Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。