論文の概要: Efficient Parallelization of Message Passing Neural Networks

• arxiv url: http://arxiv.org/abs/2505.06711v1
• Date: Sat, 10 May 2025 17:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.006407
• Title: Efficient Parallelization of Message Passing Neural Networks
• Title（参考訳）: メッセージパッシングニューラルネットワークの効率的な並列化
• Authors: Junfan Xia, Bin Jiang,
• Abstract要約: 本稿では,MPNNモデルに対して,局所的な原子間でのデータ通信を最小化する効率的な並列アルゴリズムを提案する。 このアプローチにより、MPNNモデル上で数十億の原子を厳密に局所的なモデルと同じくらい高速に分子動力学シミュレーションすることができる。
• 参考スコア（独自算出の注目度）: 4.1977795073358815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning potentials have achieved great success in accelerating atomistic simulations. Many of them rely on local descriptors that readily allow parallelization. More recent message passing neural network (MPNN) models have demonstrated their superior accuracy and become increasingly popular. However, parallelizing MPNN models for large-scale simulations across compute nodes remains a challenge, as the previously argued poor scalability with the number of MP layers and the necessity of data communication. Here, we propose an efficient parallel algorithm for MPNN models, in which additional data communication is minimized among local atoms only in each MP layer without redundant computation, thus scaling linearly with the layer number. Integrated with our recursively embedded atom neural network model, this algorithm demonstrates excellent strong scaling and weak scaling behaviors in several benchmark systems. This approach enables massive molecular dynamics simulations on MPNN models for hundreds of millions of atoms as fast as on strictly local models, vastly extending the applicability of the MPNN potential to an unprecedented scale. This general parallelization framework can empower various MPNN models to efficiently simulate very large and complex systems.
• Abstract（参考訳）: 機械学習のポテンシャルは、原子論シミュレーションの加速に大きな成功を収めた。 それらの多くは、容易に並列化を可能にするローカルな記述子に依存している。 最近では、MPNN(Message Passing Neural Network)モデルの方が精度が優れ、ますます人気が高まっている。 しかし、計算ノード間の大規模シミュレーションのためのMPNNモデルの並列化は、これまで議論されていたMPレイヤの数とデータ通信の必要性によってスケーラビリティが低下しているため、依然として課題である。 本稿では,MPNNモデルに対して,冗長計算を伴わずに各MP層内の局所的原子間のみにデータ通信を最小化し,層数と線形にスケールする効率的な並列アルゴリズムを提案する。 このアルゴリズムは再帰的に埋め込まれた原子ニューラルネットモデルと統合され、いくつかのベンチマークシステムにおいて優れたスケーリングと弱いスケーリングの挙動を示す。 このアプローチにより、MPNNモデル上での膨大な分子動力学シミュレーションが、厳密な局所モデルと同じくらいの速さで実現され、MPNNポテンシャルの適用範囲を前例のない規模にまで拡大する。 この一般的な並列化フレームワークは、様々なMPNNモデルを利用して、非常に大きく複雑なシステムを効率的にシミュレートすることができる。

関連論文リスト

• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks [4.532517021515834]
  Spiking Neural Networks(SNN)は、生物学的にインスパイアされたモデルであり、アクションポテンシャルのストリームで情報を処理できる。 SparsePropはスパースSNNをシミュレートし、訓練するための新しいイベントベースアルゴリズムである。
  論文  参考訳（メタデータ） (2023-12-28T18:48:10Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix Operations for Efficient Inference [20.404864470321897]
  本稿では,ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に弾性的に変換するニューラルマトリックスを提案する。 CNNとトランスフォーマーベースのモデルによる実験は、広範囲のDNNモデルを正確かつ効率的に実行するためのNeuralMatrixの可能性を実証している。 このレベルの効率性は通常、特定のニューラルネットワーク用に設計されたアクセラレータでのみ達成できる。
  論文  参考訳（メタデータ） (2023-05-23T12:03:51Z)
• Distributed Compressed Sparse Row Format for Spiking Neural Network Simulation, Serialization, and Interoperability [0.48733623015338234]
  圧縮スパース列(CSR)であるスパース行列を効率的に表現するために広く使われているフォーマットの並列拡張について論じる。 我々は, ニューロンやシナプス状態などの付加的なネットワーク情報を, dCSR がネットワーク状態のパーティショニングに基づく直接分布を提供するため, その隣接性に合わせて整理することを主張した。 実装の可能性を秘めており、ニューラルネットワークコミュニティにおける採用に向けて前進しています。
  論文  参考訳（メタデータ） (2023-04-12T03:19:06Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Parallel Simulation of Quantum Networks with Distributed Quantum State Management [56.24769206561207]
  我々は、量子ネットワークの並列シミュレーションの要件を特定し、最初の並列離散事象量子ネットワークシミュレータを開発する。 コントリビューションには、複数のプロセスに分散した共有量子情報を維持する量子状態マネージャの設計と開発が含まれています。 既存のシーケンシャルバージョンと並行してオープンソースツールとして,並列SeQUeNCeシミュレータをリリースする。
  論文  参考訳（メタデータ） (2021-11-06T16:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。