論文の概要: evosax: JAX-based Evolution Strategies

• arxiv url: http://arxiv.org/abs/2212.04180v1
• Date: Thu, 8 Dec 2022 10:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 14:29:16.921438
• Title: evosax: JAX-based Evolution Strategies
• Title（参考訳）: evosax: JAXベースの進化戦略
• Authors: Robert Tjarko Lange
• Abstract要約: evosaxは進化最適化アルゴリズムのJAXベースのライブラリです。 evosaxは30の進化最適化アルゴリズムを実装している。 モジュラー方式で設計されており、シンプルなRequest-evaluate-tell APIを通じてフレキシブルな使用を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deep learning revolution has greatly been accelerated by the 'hardware lottery': Recent advances in modern hardware accelerators and compilers paved the way for large-scale batch gradient optimization. Evolutionary optimization, on the other hand, has mainly relied on CPU-parallelism, e.g. using Dask scheduling and distributed multi-host infrastructure. Here we argue that also modern evolutionary computation can significantly benefit from the massive computational throughput provided by GPUs and TPUs. In order to better harness these resources and to enable the next generation of black-box optimization algorithms, we release evosax: A JAX-based library of evolution strategies which allows researchers to leverage powerful function transformations such as just-in-time compilation, automatic vectorization and hardware parallelization. evosax implements 30 evolutionary optimization algorithms including finite-difference-based, estimation-of-distribution evolution strategies and various genetic algorithms. Every single algorithm can directly be executed on hardware accelerators and automatically vectorized or parallelized across devices using a single line of code. It is designed in a modular fashion and allows for flexible usage via a simple ask-evaluate-tell API. We thereby hope to facilitate a new wave of scalable evolutionary optimization algorithms.
• Abstract（参考訳）: 現代のハードウェアアクセラレータとコンパイラの最近の進歩は、大規模なバッチ勾配最適化への道を開いた。 一方、進化的最適化は主にCPU並列性に依存しており、例えば、Daskスケジューリングと分散マルチホストインフラストラクチャを使用する。 ここでは、現代的な進化計算もGPUやTPUが提供する膨大な計算スループットの恩恵を受けることができると論じる。 これらのリソースをよりうまく活用し、次世代のブラックボックス最適化アルゴリズムを可能にするために、我々はevosaxをリリースした。evosaxはjaxベースの進化戦略のライブラリで、研究者がジャストインタイムコンパイル、自動ベクトル化、ハードウェア並列化といった強力な関数変換を活用できる。 evosaxは、有限差分ベース、推定分布進化戦略、様々な遺伝的アルゴリズムを含む30の進化的最適化アルゴリズムを実装している。 すべてのアルゴリズムはハードウェアアクセラレータ上で直接実行でき、単一のコード行を使用してデバイス間で自動的にベクトル化または並列化される。 モジュラー方式で設計されており、シンプルなRequest-evaluate-tell APIを通じて柔軟な使用を可能にする。 これにより、スケーラブルな進化的最適化アルゴリズムの新たな波の促進を期待する。

関連論文リスト

• Evolution Transformer: In-Context Evolutionary Optimization [6.873777465945062]
  本稿では、進化戦略のファミリーを柔軟に特徴付けることができる因果トランスフォーマーアーキテクチャである進化トランスフォーマーを紹介する。 進化的アルゴリズム蒸留(Evolutionary Algorithm Distillation)を用いてモデルの重み付けを訓練する。 進化変換器の動作特性を解析し,進化変換器を自己参照的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-05T14:04:13Z)
• Guided Evolution with Binary Discriminators for ML Program Search [64.44893463120584]
  プログラムのペアがどのプログラムの方が優れているかを識別するために、オンラインで訓練された二項判別器による指導進化を提案する。 本稿では,MLの記号探索における3.7倍の高速化,RL損失関数の4倍の高速化など,様々な問題に対する進化の高速化を実証する。
  論文  参考訳（メタデータ） (2024-02-08T16:59:24Z)
• EvoTorch: Scalable Evolutionary Computation in Python [1.8514314381314885]
  EvoTorchは、高次元最適化問題を扱うように設計された進化計算ライブラリである。 EvoTorchはPyTorchライブラリをベースとしてシームレスに動作するため、ユーザはよく知られたAPIを使用して最適化問題を定義することができる。
  論文  参考訳（メタデータ） (2023-02-24T12:37:45Z)
• EvoX: A Distributed GPU-accelerated Framework for Scalable Evolutionary Computation [40.71953374838183]
  EvoXは、ECアルゴリズムの自動化、分散、均一な実行に適したコンピューティングフレームワークである。 EvoXの中核には、並列化可能なECアルゴリズムの開発を合理化するユニークなプログラミングモデルがある。 EvoXは、数十の数値テスト機能から数百の強化学習タスクまで、さまざまなベンチマーク問題に対する包括的なサポートを提供する。
  論文  参考訳（メタデータ） (2023-01-29T15:00:16Z)
• Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations [50.591267188664666]
  Propulateは、グローバル最適化のための進化的最適化アルゴリズムとソフトウェアパッケージである。 提案アルゴリズムは, 選択, 突然変異, 交叉, 移動の変種を特徴とする。 Propulateは解の精度を犠牲にすることなく、最大で3桁高速であることがわかった。
  論文  参考訳（メタデータ） (2023-01-20T18:17:34Z)
• EvoJAX: Hardware-Accelerated Neuroevolution [11.835051811090672]
  本稿では,ハードウェアアクセラレーションによる神経進化ツールキットであるEvoJAXを紹介する。 神経進化アルゴリズムは、複数のTPU/GPUで並列に実行されるニューラルネットワークを扱うことができる。 進化計算実験の反復サイクルを大幅に短縮することができる。
  論文  参考訳（メタデータ） (2022-02-10T13:06:47Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)
• Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
  ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。 私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。 これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
  論文  参考訳（メタデータ） (2020-04-19T05:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。