論文の概要: Tensorized NeuroEvolution of Augmenting Topologies for GPU Acceleration
- arxiv url: http://arxiv.org/abs/2404.01817v3
- Date: Thu, 11 Apr 2024 11:30:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 18:06:21.944375
- Title: Tensorized NeuroEvolution of Augmenting Topologies for GPU Acceleration
- Title（参考訳）: GPU加速のための拡張トポロジのテンソル化神経進化
- Authors: Lishuang Wang, Mengfei Zhao, Enyu Liu, Kebin Sun, Ran Cheng,
- Abstract要約: 神経進化(NeuroEvolution of Augmenting Topologies、NEAT)アルゴリズムは、神経進化の分野でかなりの認知を得ている。
本稿では、NEATアルゴリズムのテンソル化手法を導入し、その多様なネットワークトポロジの変換を可能にする。
NEATライブラリは、Gym, Brax, gymnaxなど、さまざまなベンチマーク環境をサポートしている。
- 参考スコア（独自算出の注目度）: 6.784939343811732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The NeuroEvolution of Augmenting Topologies (NEAT) algorithm has received considerable recognition in the field of neuroevolution. Its effectiveness is derived from initiating with simple networks and incrementally evolving both their topologies and weights. Although its capability across various challenges is evident, the algorithm's computational efficiency remains an impediment, limiting its scalability potential. In response, this paper introduces a tensorization method for the NEAT algorithm, enabling the transformation of its diverse network topologies and associated operations into uniformly shaped tensors for computation. This advancement facilitates the execution of the NEAT algorithm in a parallelized manner across the entire population. Furthermore, we develop TensorNEAT, a library that implements the tensorized NEAT algorithm and its variants, such as CPPN and HyperNEAT. Building upon JAX, TensorNEAT promotes efficient parallel computations via automated function vectorization and hardware acceleration. Moreover, the TensorNEAT library supports various benchmark environments including Gym, Brax, and gymnax. Through evaluations across a spectrum of robotics control environments in Brax, TensorNEAT achieves up to 500x speedups compared to the existing implementations such as NEAT-Python. Source codes are available at: https://github.com/EMI-Group/tensorneat.
- Abstract（参考訳）: 神経進化(NeuroEvolution of Augmenting Topologies、NEAT)アルゴリズムは、神経進化の分野でかなりの認知を得ている。
その効果は単純なネットワークで開始し、トポロジと重みの両方を漸進的に進化させることから導かれる。
様々な課題にまたがる能力は明らかだが、アルゴリズムの計算効率は依然として障害であり、スケーラビリティの可能性を制限している。
そこで本研究では,NEATアルゴリズムのテンソル化手法を導入し,ネットワークトポロジと関連する演算を一様テンソルに変換する手法を提案する。
この進歩は、NEATアルゴリズムを全人口にわたって並列的に実行することを容易にする。
さらに, テンソルネットは, CPPN や HyperNEAT など, テンソル化NEAT アルゴリズムとその変種を実装したライブラリである。
JAX上に構築されたTensorNEATは、自動関数ベクトル化とハードウェアアクセラレーションによる効率的な並列計算を促進する。
さらに、TensorNEATライブラリは、Gym, Brax, gymnaxなど、さまざまなベンチマーク環境をサポートしている。
Braxのさまざまなロボット制御環境の評価を通じて、TensorNEATはNEAT-Pythonのような既存の実装と比較して最大500倍のスピードアップを実現している。
ソースコードは、https://github.com/EMI-Group/tensorneat.comで入手できる。
関連論文リスト
- Slax: A Composable JAX Library for Rapid and Flexible Prototyping of Spiking Neural Networks [0.19427883580687189]
本稿では,SNNアルゴリズム設計を高速化するJAXベースのライブラリであるSlaxを紹介する。
Slaxは多様なトレーニングアルゴリズムの最適化実装を提供し、直接性能比較を可能にする。
論文 参考訳（メタデータ） (2024-04-08T18:15:13Z) - Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks [0.0]
スパイクニューラルネットワークは、ニューロモルフィックハードウェアプラットフォーム上で効率的にエネルギーをシミュレートすることができる。
本研究では,新しいニューロモルフィックアルゴリズムであるtextitSpiking Forward Direct Feedback Alignment (SFDFA) を提案する。
論文 参考訳（メタデータ） (2024-02-06T09:07:12Z) - Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。
NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。
Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文 参考訳（メタデータ） (2023-05-22T23:38:27Z) - Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。
TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。
その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
論文 参考訳（メタデータ） (2023-04-06T12:03:03Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - NeuroEvo: A Cloud-based Platform for Automated Design and Training of
Neural Networks using Evolutionary and Particle Swarm Algorithms [0.0]
本稿では,ニューラルネットワーク分類器を対話的に設計し,訓練することができる新しいWebプラットフォームであるNeuroEvoを紹介する。
分類問題とトレーニングデータはユーザが提供し、トレーニングプロセスが完了すると、Python、Java、JavaScriptで最高の分類器をダウンロードして実装することができる。
論文 参考訳（メタデータ） (2022-10-01T14:10:43Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Evolving Neural Networks through a Reverse Encoding Tree [9.235550900581764]
本稿では,拡張性のあるニューラルネットワークを効率的に進化させる手法として,Reverse HANG Tree (RET) と呼ばれるトポロジカルエッジコーディングを取り入れた手法を提案する。
RETを用いた2種類のアプローチ - Binary search encoding (Bi-NEAT) のNEATとGolden-Section search encoding (GS-NEAT) のNEAT - は、連続学習環境のベンチマークにおける問題を解決するために設計された。
論文 参考訳（メタデータ） (2020-02-03T02:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。