論文の概要: Asynchronous Evolution of Deep Neural Network Architectures
- arxiv url: http://arxiv.org/abs/2308.04102v3
- Date: Mon, 1 Jan 2024 14:16:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 01:56:45.514290
- Title: Asynchronous Evolution of Deep Neural Network Architectures
- Title（参考訳）: ディープニューラルネットワークアーキテクチャの非同期進化
- Authors: Jason Liang, Hormoz Shahrzad, Risto Miikkulainen
- Abstract要約: 多くの進化的アルゴリズム(EA)は、候補の並列評価を利用する。
評価時間が大きく異なる場合、多くのワーカノード(すなわち計算クライアント)がアイドル状態になり、次の世代が生成されるのを待つ。
本稿では,ENASと協調して動作する汎用非同期評価戦略(AES)を提案する。
- 参考スコア（独自算出の注目度）: 10.60691612679966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many evolutionary algorithms (EAs) take advantage of parallel evaluation of
candidates. However, if evaluation times vary significantly, many worker nodes
(i.e.,\ compute clients) are idle much of the time, waiting for the next
generation to be created. Evolutionary neural architecture search (ENAS), a
class of EAs that optimizes the architecture and hyperparameters of deep neural
networks, is particularly vulnerable to this issue. This paper proposes a
generic asynchronous evaluation strategy (AES) that is then adapted to work
with ENAS. AES increases throughput by maintaining a queue of up to $K$
individuals ready to be sent to the workers for evaluation and proceeding to
the next generation as soon as $M<<K$ individuals have been evaluated. A
suitable value for $M$ is determined experimentally, balancing diversity and
efficiency. To showcase the generality and power of AES, it was first evaluated
in eight-line sorting network design (a single-population optimization task
with limited evaluation-time variability), achieving an over two-fold speedup.
Next, it was evaluated in 11-bit multiplexer design (a single-population
discovery task with extended variability), where a 14-fold speedup was
observed. It was then scaled up to ENAS for image captioning (a
multi-population open-ended-optimization task), resulting in an over two-fold
speedup. In all problems, a multifold performance improvement was observed,
suggesting that AES is a promising method for parallelizing the evolution of
complex systems with long and variable evaluation times, such as those in ENAS.
- Abstract（参考訳）: 多くの進化的アルゴリズム(EA)は、候補の並列評価を利用する。
しかし、評価時間が著しく異なる場合、多くのワーカノード(例えば、\計算クライアント)は、その時間の大部分をアイドル状態にし、次の世代が作られるのを待ちます。
ディープニューラルネットワークのアーキテクチャとハイパーパラメータを最適化するeasのクラスである evolutionary neural architecture search (enas) は、この問題に特に脆弱である。
本稿では,ENASと協調して動作する汎用非同期評価戦略(AES)を提案する。
aesは最大$k$のキューを保持して、評価のために労働者に送信し、$m<<k$の個人が評価されるとすぐに次の世代に進むことでスループットを向上させる。
M$の適切な値は、多様性と効率のバランスをとって実験的に決定される。
AESの汎用性とパワーを示すために、8行のソートネットワーク設計(評価時間に制限のある単一ポピュレーション最適化タスク)で最初に評価され、2倍以上のスピードアップを実現した。
次に、14倍のスピードアップが観測された11ビットマルチプレクサ設計(拡張変数を持つ単一集団探索タスク)で評価した。
その後、イメージキャプション(マルチポピュレーションのオープンエンド最適化タスク)のためにENASにスケールアップされ、2倍以上のスピードアップを実現した。
すべての問題において、aesはenasのような長く可変な評価時間を持つ複雑なシステムの進化を並列化する有望な方法であることが示唆された。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Towards Running Time Analysis of Interactive Multi-objective
Evolutionary Algorithms [23.815981112784552]
本稿では,実際のiMOEAに対して,最初の実行時間解析(EAの本質的理論的側面)を提供する。
我々は、OneMinMaxとOneJumpZeroJumpの問題を解くために、よく開発された対話型NSGA-IIのランニングタイムが、それぞれ$O(n log n)$と$O(nk)$であることを示す。
論文 参考訳（メタデータ） (2023-10-12T14:57:47Z) - Neural Architecture Search as Multiobjective Optimization Benchmarks:
Problem Formulation and Performance Assessment [30.264524448340406]
ニューラルアーキテクチャ探索(NAS)タスクを一般的な多目的最適化問題に定式化する。
最適化の観点から複素特性を解析する。
EMOアルゴリズムが効率的に動作するためのベンチマークテスト問題を生成するために,$texttEvoXBench$と呼ばれるエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-08T02:07:49Z) - B2EA: An Evolutionary Algorithm Assisted by Two Bayesian Optimization
Modules for Neural Architecture Search [3.126118485851773]
Btextsuperscript2EAは2つのBO代理モデルと2つの変異ステップを持つ補助的EAである。
Btextsuperscript2EAは、目標パフォーマンスの3つの困難レベルに対して、14ベンチマークよりも堅牢で効率的である。
論文 参考訳（メタデータ） (2022-02-07T08:50:21Z) - Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。
従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。
本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T00:54:27Z) - An Efficient Asynchronous Method for Integrating Evolutionary and
Gradient-based Policy Search [76.73477450555046]
本稿では、ESの並列効率を最大化し、ポリシー勾配法と統合する非同期進化戦略強化学習(AES-RL)を提案する。
具体的には、(1)ESとDRLを非同期にマージする新しいフレームワークを提案し、2)非同期、ES、DRLのすべての利点を利用できる様々な非同期更新方法を提案する。
論文 参考訳（メタデータ） (2020-12-10T02:30:48Z) - Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。
RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。
進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
論文 参考訳（メタデータ） (2020-11-27T07:39:17Z) - Rethinking Performance Estimation in Neural Architecture Search [191.08960589460173]
本稿では,資源制約型システムにおける性能推定(PE)の体系的再考を行う。
BPEと強化学習,進化アルゴリズム,ランダム探索,異種アーキテクチャ探索などの様々な探索アルゴリズムを組み合わせることで,NASの1,000倍の高速化を実現した。
論文 参考訳（メタデータ） (2020-05-20T09:01:44Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。