論文の概要: Guided Evolutionary Neural Architecture Search With Efficient Performance Estimation

• arxiv url: http://arxiv.org/abs/2208.06475v1
• Date: Fri, 22 Jul 2022 10:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-28 22:34:52.075713
• Title: Guided Evolutionary Neural Architecture Search With Efficient Performance Estimation
• Title（参考訳）: 効率的な性能推定による進化的ニューラルネットワーク探索
• Authors: Vasco Lopes, Miguel Santos, Bruno Degardin, Lu\'is A. Alexandre
• Abstract要約: 本稿では、ガイド型ニューラルネットワーク探索(NAS)のための新しいアプローチであるGAAを提案する。 GEAは、初期化段階で各世代で複数のアーキテクチャを生成し評価することで進化を導く。 その結果,GAAはNAS-Bench-101,NAS-Bench-201,TransNAS-Bench-101ベンチマークのすべてのデータセットに対して最先端の結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 4.637328271312329
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural Architecture Search (NAS) methods have been successfully applied to image tasks with excellent results. However, NAS methods are often complex and tend to converge to local minima as soon as generated architectures seem to yield good results. This paper proposes GEA, a novel approach for guided NAS. GEA guides the evolution by exploring the search space by generating and evaluating several architectures in each generation at initialisation stage using a zero-proxy estimator, where only the highest-scoring architecture is trained and kept for the next generation. Subsequently, GEA continuously extracts knowledge about the search space without increased complexity by generating several off-springs from an existing architecture at each generation. More, GEA forces exploitation of the most performant architectures by descendant generation while simultaneously driving exploration through parent mutation and favouring younger architectures to the detriment of older ones. Experimental results demonstrate the effectiveness of the proposed method, and extensive ablation studies evaluate the importance of different parameters. Results show that GEA achieves state-of-the-art results on all data sets of NAS-Bench-101, NAS-Bench-201 and TransNAS-Bench-101 benchmarks.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)法は優れた結果を得た画像処理に成功している。 しかし、NAS法はしばしば複雑であり、生成したアーキテクチャが良い結果をもたらすとすぐに局所的なミニマに収束する傾向がある。 本稿では,ガイド型NASの新しいアプローチであるGAAを提案する。 GEAは、ゼロプロキシ推定器を用いて、初期化段階で各世代で複数のアーキテクチャを生成し評価することで、探索空間を探索し、進化を導く。 その後、GAAは、各世代で既存のアーキテクチャからいくつかのオフスプリングを生成することにより、複雑さを増すことなく検索空間に関する知識を継続的に抽出する。 さらにgeaは、最もパフォーマンスの高いアーキテクチャを子孫世代によって搾取し、同時に親の変異による探索を促進し、若いアーキテクチャを古いアーキテクチャを損なうことを好む。 実験により,提案手法の有効性が実証され,様々なパラメータの重要性が評価された。 その結果,GAAはNAS-Bench-101,NAS-Bench-201,TransNAS-Bench-101ベンチマークのすべてのデータセットに対して最先端の結果が得られることがわかった。

関連論文リスト

• Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
  グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-26T11:32:45Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Guided Evolution for Neural Architecture Search [1.0499611180329804]
  進化的ニューラルネットワーク探索(NAS)のための新しい手法を提案する。 G-EAの背後にある理論的根拠は、各世代における複数のアーキテクチャの生成と評価によって、検索空間を探索することである。 G-EAは、親突然変異による探索を強制しながら、子孫世代による最も優れたネットワークの活用を強制する。
  論文  参考訳（メタデータ） (2021-10-28T15:43:20Z)
• Generative Adversarial Neural Architecture Search [21.05611902967155]
  理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。 GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
  論文  参考訳（メタデータ） (2021-05-19T18:54:44Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
  ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
  論文  参考訳（メタデータ） (2020-05-06T05:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。