論文の概要: Distributed Compressed Sparse Row Format for Spiking Neural Network
Simulation, Serialization, and Interoperability
- arxiv url: http://arxiv.org/abs/2304.05587v1
- Date: Wed, 12 Apr 2023 03:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 16:18:10.717243
- Title: Distributed Compressed Sparse Row Format for Spiking Neural Network
Simulation, Serialization, and Interoperability
- Title（参考訳）: スパイクニューラルネットワークシミュレーション、シリアライズ、相互運用性のための分散圧縮スパース列フォーマット
- Authors: Felix Wang
- Abstract要約: 圧縮スパース列(CSR)であるスパース行列を効率的に表現するために広く使われているフォーマットの並列拡張について論じる。
我々は, ニューロンやシナプス状態などの付加的なネットワーク情報を, dCSR がネットワーク状態のパーティショニングに基づく直接分布を提供するため, その隣接性に合わせて整理することを主張した。
実装の可能性を秘めており、ニューラルネットワークコミュニティにおける採用に向けて前進しています。
- 参考スコア（独自算出の注目度）: 0.48733623015338234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing development of neuromorphic platforms and their related
software tools as well as the increasing scale of spiking neural network (SNN)
models, there is a pressure for interoperable and scalable representations of
network state. In response to this, we discuss a parallel extension of a widely
used format for efficiently representing sparse matrices, the compressed sparse
row (CSR), in the context of supporting the simulation and serialization of
large-scale SNNs. Sparse matrices for graph adjacency structure provide a
natural fit for describing the connectivity of an SNN, and prior work in the
area of parallel graph partitioning has developed the distributed CSR (dCSR)
format for storing and ingesting large graphs. We contend that organizing
additional network information, such as neuron and synapse state, in alignment
with its adjacency as dCSR provides a straightforward partition-based
distribution of network state. For large-scale simulations, this means each
parallel process is only responsible for its own partition of state, which
becomes especially useful when the size of an SNN exceeds the memory resources
of a single compute node. For potentially long-running simulations, this also
enables network serialization to and from disk (e.g. for checkpoint/restart
fault-tolerant computing) to be performed largely independently between
parallel processes. We also provide a potential implementation, and put it
forward for adoption within the neural computing community.
- Abstract（参考訳）: ニューロモルフィックプラットフォームとその関連ソフトウェアツールの開発が増加し、スパイクニューラルネットワーク(SNN)モデルの規模が増大するにつれ、ネットワーク状態の相互運用可能でスケーラブルな表現に対する圧力が高まっている。
これに対し、大規模SNNのシミュレーションとシリアライゼーションをサポートする文脈において、スパース行列、圧縮スパース行(CSR)を効率的に表現するための広く使われているフォーマットの並列拡張について論じる。
グラフ隣接構造のためのスパース行列は、SNNの接続性を記述するのに自然なものであり、並列グラフ分割の分野における先行研究は、大きなグラフの保存と取り込みのための分散CSR(dCSR)フォーマットを開発した。
我々は, ニューロンやシナプス状態などの付加的なネットワーク情報を, dCSR がネットワーク状態のパーティショニングに基づく直接分布を提供するため, その隣接性に合わせて整理する。
大規模なシミュレーションでは、それぞれの並列プロセスが自身の状態分割にのみ責任を持ち、SNNのサイズが単一の計算ノードのメモリリソースを超えると特に有用になる。
潜在的に長期にわたるシミュレーションでは、ディスクへのネットワークシリアライゼーション(例えば、チェックポイント/リスタートフォールトトレラントコンピューティング)が並列プロセス間で独立して実行される。
私たちはまた、潜在的な実装を提供し、ニューラルコンピューティングコミュニティ内での採用を前進させています。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Fast inference of latent space dynamics in huge relational event
networks [0.0]
巨大イベントネットワークに対処可能な確率に基づくアルゴリズムを提案する。
本研究では,解釈可能な潜在空間に埋め込まれたネットワークコミュニティのダイナミクスを推定するための階層的戦略を提案する。
大規模ネットワークでフレームワークを実現するには、機械学習最適化の方法論を借りる。
論文 参考訳（メタデータ） (2023-03-29T15:18:56Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳（メタデータ） (2023-03-06T18:13:14Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳（メタデータ） (2022-07-22T18:38:11Z) - DistIR: An Intermediate Representation and Simulator for Efficient
Neural Network Distribution [15.086401550425125]
DistIRは分散計算のための表現であり、効率的な解析のために調整されている。
本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
論文 参考訳（メタデータ） (2021-11-09T21:32:51Z) - Parallel Simulation of Quantum Networks with Distributed Quantum State
Management [56.24769206561207]
我々は、量子ネットワークの並列シミュレーションの要件を特定し、最初の並列離散事象量子ネットワークシミュレータを開発する。
コントリビューションには、複数のプロセスに分散した共有量子情報を維持する量子状態マネージャの設計と開発が含まれています。
既存のシーケンシャルバージョンと並行してオープンソースツールとして,並列SeQUeNCeシミュレータをリリースする。
論文 参考訳（メタデータ） (2021-11-06T16:51:17Z) - Partitioning sparse deep neural networks for scalable training and
inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。
スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。
その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文 参考訳（メタデータ） (2021-04-23T20:05:52Z) - Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid
Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。
ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文 参考訳（メタデータ） (2020-07-08T21:23:19Z) - A Linear Algebraic Approach to Model Parallelism in Deep Learning [0.0]
ネットワークのサイズと複雑さが大きくなるにつれて、大規模クラスタコンピューティング環境でのディープニューラルネットワーク(DNN)のトレーニングがますます必要になる。
深層学習における並列性をモデル化するための線形代数的手法を提案し,DNNにおけるテンソルの並列分布を実現する。
本研究では,これらの並列プリミティブを用いて分散DNN層を構築し,PyTorchおよびMPIベースの分散ディープラーニングツールキットであるDistDLを用いて分散DNNを構築し,訓練することにより,それらのアプリケーションを実演する。
論文 参考訳（メタデータ） (2020-06-04T19:38:05Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。