Fugu-MT 論文翻訳(概要): Differential Evolution for Neural Architecture Search

論文の概要: Differential Evolution for Neural Architecture Search

arxiv url: http://arxiv.org/abs/2012.06400v1
Date: Fri, 11 Dec 2020 14:58:43 GMT
ステータス: 処理完了
システム内更新日: 2021-05-11 07:12:49.497369
Title: Differential Evolution for Neural Architecture Search
Title（参考訳）: ニューラルアーキテクチャ探索のための微分進化
Authors: Noor Awad, Neeratyoy Mallik, Frank Hutter
Abstract要約: 我々はNASコミュニティに差分進化の単純かつ強力な進化アルゴリズムを導入する。我々は,NAS-Bench-101,NAS-Bench-1Shot1,NAS-Bench-201,NAS-HPOベンチに基づく13のベンチマークに対して,改良された,より堅牢な結果が得られることを示した。
参考スコア（独自算出の注目度）: 33.80873355096445
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural architecture search (NAS) methods rely on a search strategy for deciding which architectures to evaluate next and a performance estimation strategy for assessing their performance (e.g., using full evaluations, multi-fidelity evaluations, or the one-shot model). In this paper, we focus on the search strategy. We introduce the simple yet powerful evolutionary algorithm of differential evolution to the NAS community. Using the simplest performance evaluation strategy of full evaluations, we comprehensively compare this search strategy to regularized evolution and Bayesian optimization and demonstrate that it yields improved and more robust results for 13 tabular NAS benchmarks based on NAS-Bench-101, NAS-Bench-1Shot1, NAS-Bench-201 and NAS-HPO bench.
Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)手法は、次にどのアーキテクチャを評価するかを決定する検索戦略と、パフォーマンスを評価するパフォーマンス評価戦略(例えば、フル評価、マルチフィデリティ評価、ワンショットモデル)に依存している。本稿では,検索戦略に焦点をあてる。我々はNASコミュニティに差分進化の単純かつ強力な進化アルゴリズムを導入する。その結果,NAS-Bench-101,NAS-Bench-1Shot1,NAS-Bench-201,NAS-HPOをベースとした13個のNASベンチマークにおいて,この探索戦略を正規化進化とベイズ最適化と総合的に比較し,より堅牢な結果が得られることを示した。

関連論文リスト

Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance [5.065947993017157]
我々は、広く使われているNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101ベンチマークを実証分析した。性能範囲の上限に近いアーキテクチャを生成するためには,操作プールのサブセットのみが必要であることがわかった。一貫性のある畳み込みレイヤは、アーキテクチャのパフォーマンスに最も影響していると考えています。
論文参考訳（メタデータ） (2023-03-29T18:03:28Z)
Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文参考訳（メタデータ） (2022-09-15T12:11:41Z)
PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
論文参考訳（メタデータ） (2022-04-27T06:40:39Z)
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文参考訳（メタデータ） (2021-11-25T18:13:42Z)
Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS [12.901952926144258]
NASベンチマークの最近の利用により、低計算資源のプロトタイピングが可能になった。探索空間の校正クラスタリング解析を行う。次に、センチロイドを抽出し、NASアルゴリズムを初期化する。
論文参考訳（メタデータ） (2021-08-20T11:46:33Z)
Mutation is all you need [1.1709030738577393]
BANANASはベイズ最適化フレームワークに組み込まれた最先端のNAS手法である。最近の発見はNAS-Bench-101ベンチマークでBANANASの強い性能を示している。本研究ではNAS-Bench-301ベンチマークにおけるBANANASの性能が取得関数によって決定されることを示す実験結果を示す。
論文参考訳（メタデータ） (2021-07-04T15:15:36Z)
Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文参考訳（メタデータ） (2021-02-21T01:58:43Z)
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
論文参考訳（メタデータ） (2020-07-07T00:57:09Z)
NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search [42.82951139084501]
ワンショットニューラルアーキテクチャサーチ(NAS)は、NASメソッドを実際に計算可能とする上で重要な役割を担っている。我々は、最近導入された多くの変種にインスタンス化できるワンショットNASのための一般的なフレームワークを導入し、一般的なベンチマークフレームワークを導入する。
論文参考訳（メタデータ） (2020-01-28T15:50:22Z)
NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。