論文の概要: FastCHGNet: Training one Universal Interatomic Potential to 1.5 Hours with 32 GPUs

• arxiv url: http://arxiv.org/abs/2412.20796v1
• Date: Mon, 30 Dec 2024 08:38:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:12.610520
• Title: FastCHGNet: Training one Universal Interatomic Potential to 1.5 Hours with 32 GPUs
• Title（参考訳）: FastCHGNet:32GPUで1.5時間に1つの普遍的原子間ポテンシャルをトレーニングする
• Authors: Yuanchang Zhou, Siyu Hu, Chen Wang, Lin-Wang Wang, Guangming Tan, Weile Jia,
• Abstract要約: グラフニューラルネットワークユニバーサル原子間ポテンシャル(GNN-UIPs)は、物質発見と特性予測において顕著な一般化と伝達能力を示す。 注目すべき例としてCrystal Hamiltonian Graph Neural Network (CHGNet)があり、MPtrjデータセットからエネルギー、力、応力、磁気モーメントを事前訓練している。 本稿では3つのコントリビューションを持つ最適化CHGNetであるFastCHGNetを紹介する。
• 参考スコア（独自算出の注目度）: 5.934344414408804
• License:
• Abstract: Graph neural network universal interatomic potentials (GNN-UIPs) have demonstrated remarkable generalization and transfer capabilities in material discovery and property prediction. These models can accelerate molecular dynamics (MD) simulation by several orders of magnitude while maintaining \textit{ab initio} accuracy, making them a promising new paradigm in material simulations. One notable example is Crystal Hamiltonian Graph Neural Network (CHGNet), pretrained on the energies, forces, stresses, and magnetic moments from the MPtrj dataset, representing a state-of-the-art GNN-UIP model for charge-informed MD simulations. However, training the CHGNet model is time-consuming(8.3 days on one A100 GPU) for three reasons: (i) requiring multi-layer propagation to reach more distant atom information, (ii) requiring second-order derivatives calculation to finish weights updating and (iii) the implementation of reference CHGNet does not fully leverage the computational capabilities. This paper introduces FastCHGNet, an optimized CHGNet, with three contributions: Firstly, we design innovative Force/Stress Readout modules to decompose Force/Stress prediction. Secondly, we adopt massive optimizations such as kernel fusion, redundancy bypass, etc, to exploit GPU computation power sufficiently. Finally, we extend CHGNet to support multiple GPUs and propose a load-balancing technique to enhance GPU utilization. Numerical results show that FastCHGNet reduces memory footprint by a factor of 3.59. The final training time of FastCHGNet can be decreased to \textbf{1.53 hours} on 32 GPUs without sacrificing model accuracy.
• Abstract（参考訳）: グラフニューラルネットワークユニバーサル原子間ポテンシャル(GNN-UIPs)は、物質発見と特性予測において顕著な一般化と伝達能力を示した。 これらのモデルにより、分子動力学(MD)シミュレーションは数桁の精度を維持しながら、数桁の精度で加速することができ、物質シミュレーションにおいて有望な新しいパラダイムとなる。 注目すべき例としてCrystal Hamiltonian Graph Neural Network (CHGNet)があり、MPtrjデータセットのエネルギー、力、応力、磁気モーメントに基づいて事前訓練されており、電荷インフォームドMDシミュレーションのための最先端のGNN-UIPモデルを表している。 しかし、CHGNetモデルのトレーニングには3つの理由がある(A100 GPUで8.3日)。 一 より遠方の原子情報に到達するために多層伝播を必要とすること。 二 重み更新の完了に二階微分計算を必要とすること。 三 参照CHGNetの実装は、計算能力を完全に活用していない。 本稿では,CHGNetを最適化したFastCHGNetについて紹介する。 第2に,核融合や冗長性バイパスなどの大規模最適化を採用し,GPU計算能力を十分に活用する。 最後に,CHGNetを拡張して複数のGPUをサポートするとともに,GPU利用を向上させるロードバランシング手法を提案する。 FastCHGNetはメモリフットプリントを3.59倍削減する。 FastCHGNetの最終トレーニング時間は、モデル精度を犠牲にすることなく、32GPU上で \textbf{1.53 hours} に短縮することができる。

関連論文リスト

• GraNNite: Enabling High-Performance Execution of Graph Neural Networks on Resource-Constrained Neural Processing Units [0.6063137165121326]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するために不可欠であり、ネットワーク分析、レコメンデーションシステム、音声分析の応用を可能にする。 GraNNiteは、COTS(Commercial-off-the-Shelf) SOTAアクセラレータ上でGNNの実行を最適化する最初のハードウェア対応フレームワークである。
  論文  参考訳（メタデータ） (2025-02-10T17:03:02Z)
• An Efficient Sparse Kernel Generator for O(3)-Equivariant Deep Networks [0.5737287537823071]
  回転同変グラフニューラルネットワークは、空間深層学習タスクにおける最先端の性能を得る。 クレーブシュ=ゴルドンテンソル積(Clebsch-Gordon tensor product, CG)は、2つの高次特徴ベクトルと高度に構造化されたスパーステンソルを交換して高密度出力ベクトルを生成するカーネルである。 我々は,CGテンソル製品用のGPUスパースカーネルジェネレータを導入し,既存のオープンソース実装とクローズドソース実装の大幅な高速化を実現した。
  論文  参考訳（メタデータ） (2025-01-23T08:20:47Z)
• Exploring Quantization and Mapping Synergy in Hardware-Aware Deep Neural Network Accelerators [0.20971479389679332]
  CNN推論アクセラレータに実装された畳み込みニューラルネットワーク(CNN)のエネルギー効率とメモリフットプリントは多くの要因に依存する。 実装中にリッチな混合量子化スキームを有効にすることで、以前に隠れていたマッピングの空間を開放できることが示される。 量子化重みとアクティベーションと適切なマッピングを利用するCNNは、精度、エネルギ、メモリ要求間のトレードオフを大幅に改善することができる。
  論文  参考訳（メタデータ） (2024-04-08T10:10:30Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Scientific Computing Algorithms to Learn Enhanced Scalable Surrogates for Mesh Physics [6.360914973656273]
  MeshGraphNets(MGN)は、メッシュベースの物理モデリングのためのGNNのサブクラスである。 我々は、計算流体力学シミュレーションを生成するために、MGNを数千のノードでメッシュ上で訓練する。 本研究は,実世界のアプリケーションにMGNをスケーリングする実践的な方法を示す。
  論文  参考訳（メタデータ） (2023-04-01T15:42:18Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• ForceNet: A Graph Neural Network for Large-Scale Quantum Calculations [86.41674945012369]
  スケーラブルで表現力のあるグラフニューラルネットワークモデルであるForceNetを開発し、原子力を近似します。 提案したForceNetは、最先端の物理ベースのGNNよりも正確に原子力を予測することができる。
  論文  参考訳（メタデータ） (2021-03-02T03:09:06Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
  本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
  論文  参考訳（メタデータ） (2020-07-20T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。