論文の概要: Scalable Training of Trustworthy and Energy-Efficient Predictive Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN

• arxiv url: http://arxiv.org/abs/2406.12909v3
• Date: Thu, 17 Oct 2024 02:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:15:48.663614
• Title: Scalable Training of Trustworthy and Energy-Efficient Predictive Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN
• Title（参考訳）: 原子性物質モデリングのための信頼性・エネルギー効率の高い予測グラフ基礎モデルのスケーラブルトレーニング:HydraGNNによる事例研究
• Authors: Massimiliano Lupo Pasini, Jong Youl Choi, Kshitij Mehta, Pei Zhang, David Rogers, Jonghyun Bae, Khaled Z. Ibrahim, Ashwin M. Aji, Karl W. Schulz, Jorda Polo, Prasanna Balaprakash,
• Abstract要約: 我々はHydraGNNを用いて、スケーラブルで信頼性があり、エネルギー効率の高い予測グラフ基盤モデル(GFMs)の開発とトレーニングを行う。 HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)計算の境界を拡張する。
• 参考スコア（独自算出の注目度）: 5.386946356430465
• License:
• Abstract: We present our work on developing and training scalable, trustworthy, and energy-efficient predictive graph foundation models (GFMs) using HydraGNN, a multi-headed graph convolutional neural network architecture. HydraGNN expands the boundaries of graph neural network (GNN) computations in both training scale and data diversity. It abstracts over message passing algorithms, allowing both reproduction of and comparison across algorithmic innovations that define nearest-neighbor convolution in GNNs. This work discusses a series of optimizations that have allowed scaling up the GFMs training to tens of thousands of GPUs on datasets that consist of hundreds of millions of graphs. Using over 154 million atomistic structures for training, we illustrate the performance of our approach along with the lessons learned on two state-of-the-art United States Department of Energy (US-DOE) supercomputers, namely the Perlmutter petascale system at the National Energy Research Scientific Computing Center and the Frontier exascale system at Oak Ridge Leadership Computing Facility. The HydraGNN architecture enables the GFM to achieve near-linear strong scaling performance using more than 2,000 GPUs on Perlmutter and 16,000 GPUs on Frontier. Hyperparameter optimization (HPO) was performed on over 64,000 Graphic Compute Dies (GCDs) on Frontier to select GFM architectures with high accuracy. Each HPO trial was ranked based on both accuracy and energy consumption. The training of an ensemble of highest-ranked GFM architectures (selected with judicious balance between accuracy and energy consumption) continued until convergence to establish uncertainty quantification (UQ) capabilities with ensemble learning. Our contributions establish core capabilities for rapidly developing, training, and deploying further GFMs using large-scale computational resources to enable AI-accelerated materials discovery and design.
• Abstract（参考訳）: 我々は,マルチヘッドグラフ畳み込みニューラルネットワークアーキテクチャであるHydraGNNを用いて,スケーラブルで信頼性の高い,エネルギー効率の高い予測グラフ基盤モデル(GFMs)の開発とトレーニングを行う。 HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)計算の境界を拡張する。 メッセージパッシングアルゴリズムを抽象化し、GNNの最も近い隣り合う畳み込みを定義するアルゴリズムの革新を再現および比較できる。 この研究は、GFMのトレーニングを数億のグラフからなるデータセット上で数万のGPUにスケールアップすることを可能にする一連の最適化について論じる。 トレーニングに1億5400万以上の原子構造を用いると、米国エネルギー省(US-DOE)の2つのスーパーコンピュータ、すなわち米国エネルギー科学科学コンピューティングセンターのペルマッター・ペタスケール・システムとオークリッジリーダーシップコンピューティング施設のフロンティア・エクタスケール・システムで学んだ教訓とともに、我々のアプローチのパフォーマンスについて説明する。 HydraGNNアーキテクチャにより、GFMは、Perlmutter上の2,000GPUとFrontier上の16,000GPUを使用して、ほぼ直線的な強力なスケーリングパフォーマンスを達成することができる。 ハイパーパラメータ最適化(HPO)はフロンティアの64,000以上のグラフィック計算ダイス(GCD)上で行われ、高い精度でGFMアーキテクチャを選択した。 各HPO試験は、精度とエネルギー消費の両方に基づいてランク付けされた。 最高級のGFMアーキテクチャのアンサンブル(精度とエネルギー消費の公正なバランスで選択)の訓練は、アンサンブル学習による不確実な定量化(UQ)能力を確立するために収束するまで続けられた。 我々のコントリビューションは、AIが加速する材料発見と設計を可能にするために、大規模計算資源を使用して、さらなるGFMを迅速に開発、訓練、展開するためのコア機能を確立します。

関連論文リスト

• Layer-wise training for self-supervised learning on graphs [0.0]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。 本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:23:39Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Scalable training of graph convolutional neural networks for fast and accurate predictions of HOMO-LUMO gap in molecules [1.8947048356389908]
  この研究は、数百万の分子の物質特性を予測するために、HPCシステム上でGCNNモデルを構築することに焦点を当てている。 PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。 我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
  論文  参考訳（メタデータ） (2022-07-22T20:54:22Z)
• Towards Training Billion Parameter Graph Neural Networks for Atomic Simulations [11.328193255838986]
  グラフ並列性(Graph Parallelism)は、入力グラフを複数のGPUに分散する手法であり、数十億から数十億のパラメータで非常に大きなGNNをトレーニングすることができる。 大規模Open Catalyst 2020データセットでは、これらのグラフ並列化モデルは、S2EFタスクの力MAEメトリックで15%、IS2RSタスクのAFbTメトリックで21%の相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2022-03-18T01:54:34Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs [21.63854538768414]
  我々はGPUコアユニット(TCU)をベースとした最初のGNNフレームワークであるTC-GNNを提案する。 中心となるアイデアは、"スパース"GNNを高性能な"デンス"TCUと整合させることである。 厳密な実験は、最先端のDGLフレームワーク上で平均1.70のスピードアップを示している。
  論文  参考訳（メタデータ） (2021-12-03T18:06:23Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
  本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。 私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。 我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
  論文  参考訳（メタデータ） (2020-04-23T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。