論文の概要: Scalable Training of Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN
- arxiv url: http://arxiv.org/abs/2406.12909v1
- Date: Wed, 12 Jun 2024 21:21:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-23 13:15:04.291139
- Title: Scalable Training of Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN
- Title（参考訳）: 原子性物質モデリングのためのグラフ基礎モデルのスケーラブルなトレーニング:HydraGNNを用いたケーススタディ
- Authors: Massimiliano Lupo Pasini, Jong Youl Choi, Kshitij Mehta, Pei Zhang, David Rogers, Jonghyun Bae, Khaled Z. Ibrahim, Ashwin M. Aji, Karl W. Schulz, Jorda Polo, Prasanna Balaprakash,
- Abstract要約: 我々はHydraGNNを用いたスケーラブルグラフ基盤モデル(GFM)の開発と訓練について述べる。
HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)の境界を広げている。
GFMはマルチタスク学習(MTL)を用いて、原子構造体のグラフレベルとノードレベルの特性を同時に学習する。
- 参考スコア（独自算出の注目度）: 5.386946356430465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present our work on developing and training scalable graph foundation models (GFM) using HydraGNN, a multi-headed graph convolutional neural network architecture. HydraGNN expands the boundaries of graph neural network (GNN) in both training scale and data diversity. It abstracts over message passing algorithms, allowing both reproduction of and comparison across algorithmic innovations that define convolution in GNNs. This work discusses a series of optimizations that have allowed scaling up the GFM training to tens of thousands of GPUs on datasets that consist of hundreds of millions of graphs. Our GFMs use multi-task learning (MTL) to simultaneously learn graph-level and node-level properties of atomistic structures, such as the total energy and atomic forces. Using over 150 million atomistic structures for training, we illustrate the performance of our approach along with the lessons learned on two United States Department of Energy (US-DOE) supercomputers, namely the Perlmutter petascale system at the National Energy Research Scientific Computing Center and the Frontier exascale system at Oak Ridge National Laboratory. The HydraGNN architecture enables the GFM to achieve near-linear strong scaling performance using more than 2,000 GPUs on Perlmutter and 16,000 GPUs on Frontier. Hyperparameter optimization (HPO) was performed on over 64,000 GPUs on Frontier to select GFM architectures with high accuracy. Early stopping was applied on each GFM architecture for energy awareness in performing such an extreme-scale task. The training of an ensemble of highest-ranked GFM architectures continued until convergence to establish uncertainty quantification (UQ) capabilities with ensemble learning. Our contribution opens the door for rapidly developing, training, and deploying GFMs using large-scale computational resources to enable AI-accelerated materials discovery and design.
- Abstract（参考訳）: 我々は,マルチヘッドグラフ畳み込みニューラルネットワークアーキテクチャであるHydraGNNを用いて,スケーラブルグラフ基盤モデル(GFM)の開発とトレーニングを行う。
HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)の境界を広げている。
メッセージパッシングアルゴリズムを抽象化し、GNNの畳み込みを定義するアルゴリズムの革新を再現および比較できる。
この研究は、何億ものグラフからなるデータセット上の何万ものGPUへのGFMトレーニングのスケールアップを可能にする一連の最適化について論じる。
GFMはマルチタスク学習(MTL)を用いて、全エネルギーや原子力などの原子構造のグラフレベルとノードレベルの特性を同時に学習する。
米国エネルギー省(US-DOE)の2つのスーパーコンピュータ(National Energy Research Scientific Computing CenterのPerlmutter petascale systemとOak Ridge National LaboratoryのFrontier exascale system)で学んだ教訓と合わせて、1億5000万以上の原子構造をトレーニングに利用した。
HydraGNNアーキテクチャにより、GFMは、Perlmutter上の2,000GPUとFrontier上の16,000GPUを使用して、ほぼ直線的な強力なスケーリングパフォーマンスを達成することができる。
ハイパーパラメータ最適化(HPO)はフロンティアの64,000以上のGPU上で実行され、高い精度でGFMアーキテクチャを選択した。
早期停止は各GFMアーキテクチャーに適用され、極端に大規模なタスクを行う際のエネルギー意識が得られた。
最高級のGFMアーキテクチャのアンサンブルの訓練は、アンサンブル学習を伴う不確実量化(UQ)能力を確立するために収束するまで続けられた。
我々の貢献は、AIが加速する材料発見と設計を可能にするために、大規模計算資源を使用して、GFMを迅速に開発、訓練、展開するための扉を開く。
関連論文リスト
- Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。
本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文 参考訳（メタデータ） (2023-09-04T10:23:39Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Scalable training of graph convolutional neural networks for fast and
accurate predictions of HOMO-LUMO gap in molecules [1.8947048356389908]
この研究は、数百万の分子の物質特性を予測するために、HPCシステム上でGCNNモデルを構築することに焦点を当てている。
PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。
我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
論文 参考訳（メタデータ） (2022-07-22T20:54:22Z) - Towards Training Billion Parameter Graph Neural Networks for Atomic
Simulations [11.328193255838986]
グラフ並列性(Graph Parallelism)は、入力グラフを複数のGPUに分散する手法であり、数十億から数十億のパラメータで非常に大きなGNNをトレーニングすることができる。
大規模Open Catalyst 2020データセットでは、これらのグラフ並列化モデルは、S2EFタスクの力MAEメトリックで15%、IS2RSタスクのAFbTメトリックで21%の相対的な改善をもたらす。
論文 参考訳（メタデータ） (2022-03-18T01:54:34Z) - Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors
to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。
1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。
その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文 参考訳（メタデータ） (2022-02-07T16:38:36Z) - TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs [21.63854538768414]
我々はGPUコアユニット(TCU)をベースとした最初のGNNフレームワークであるTC-GNNを提案する。
中心となるアイデアは、"スパース"GNNを高性能な"デンス"TCUと整合させることである。
厳密な実験は、最先端のDGLフレームワーク上で平均1.70のスピードアップを示している。
論文 参考訳（メタデータ） (2021-12-03T18:06:23Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳（メタデータ） (2021-10-15T07:18:57Z) - Training Graph Neural Networks with 1000 Layers [133.84813995275988]
我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。
我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
論文 参考訳（メタデータ） (2021-06-14T15:03:00Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。
私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。
我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
論文 参考訳（メタデータ） (2020-04-23T14:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。