論文の概要: Scalable Training of Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN

• arxiv url: http://arxiv.org/abs/2406.12909v2
• Date: Fri, 28 Jun 2024 17:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 19:11:01.303637
• Title: Scalable Training of Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN
• Title（参考訳）: 原子性物質モデリングのためのグラフ基礎モデルのスケーラブルなトレーニング:HydraGNNを用いたケーススタディ
• Authors: Massimiliano Lupo Pasini, Jong Youl Choi, Kshitij Mehta, Pei Zhang, David Rogers, Jonghyun Bae, Khaled Z. Ibrahim, Ashwin M. Aji, Karl W. Schulz, Jorda Polo, Prasanna Balaprakash,
• Abstract要約: 我々はHydraGNNを用いたスケーラブルグラフ基盤モデル(GFM)の開発と訓練について述べる。 HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)の境界を広げている。 GFMはマルチタスク学習(MTL)を用いて、原子構造体のグラフレベルとノードレベルの特性を同時に学習する。
• 参考スコア（独自算出の注目度）: 5.386946356430465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present our work on developing and training scalable graph foundation models (GFM) using HydraGNN, a multi-headed graph convolutional neural network architecture. HydraGNN expands the boundaries of graph neural network (GNN) in both training scale and data diversity. It abstracts over message passing algorithms, allowing both reproduction of and comparison across algorithmic innovations that define convolution in GNNs. This work discusses a series of optimizations that have allowed scaling up the GFM training to tens of thousands of GPUs on datasets that consist of hundreds of millions of graphs. Our GFMs use multi-task learning (MTL) to simultaneously learn graph-level and node-level properties of atomistic structures, such as the total energy and atomic forces. Using over 150 million atomistic structures for training, we illustrate the performance of our approach along with the lessons learned on two United States Department of Energy (US-DOE) supercomputers, namely the Perlmutter petascale system at the National Energy Research Scientific Computing Center and the Frontier exascale system at Oak Ridge National Laboratory. The HydraGNN architecture enables the GFM to achieve near-linear strong scaling performance using more than 2,000 GPUs on Perlmutter and 16,000 GPUs on Frontier. Hyperparameter optimization (HPO) was performed on over 64,000 GPUs on Frontier to select GFM architectures with high accuracy. Early stopping was applied on each GFM architecture for energy awareness in performing such an extreme-scale task. The training of an ensemble of highest-ranked GFM architectures continued until convergence to establish uncertainty quantification (UQ) capabilities with ensemble learning. Our contribution opens the door for rapidly developing, training, and deploying GFMs using large-scale computational resources to enable AI-accelerated materials discovery and design.
• Abstract（参考訳）: 我々は,マルチヘッドグラフ畳み込みニューラルネットワークアーキテクチャであるHydraGNNを用いて,スケーラブルグラフ基盤モデル(GFM)の開発とトレーニングを行う。 HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)の境界を広げている。 メッセージパッシングアルゴリズムを抽象化し、GNNの畳み込みを定義するアルゴリズムの革新を再現および比較できる。 この研究は、何億ものグラフからなるデータセット上の何万ものGPUへのGFMトレーニングのスケールアップを可能にする一連の最適化について論じる。 GFMはマルチタスク学習(MTL)を用いて、全エネルギーや原子力などの原子構造のグラフレベルとノードレベルの特性を同時に学習する。 米国エネルギー省(US-DOE)の2つのスーパーコンピュータ(National Energy Research Scientific Computing CenterのPerlmutter petascale systemとOak Ridge National LaboratoryのFrontier exascale system)で学んだ教訓と合わせて、1億5000万以上の原子構造をトレーニングに利用した。 HydraGNNアーキテクチャにより、GFMは、Perlmutter上の2,000GPUとFrontier上の16,000GPUを使用して、ほぼ直線的な強力なスケーリングパフォーマンスを達成することができる。 ハイパーパラメータ最適化(HPO)はフロンティアの64,000以上のGPU上で実行され、高い精度でGFMアーキテクチャを選択した。 早期停止は各GFMアーキテクチャーに適用され、極端に大規模なタスクを行う際のエネルギー意識が得られた。 最高級のGFMアーキテクチャのアンサンブルの訓練は、アンサンブル学習を伴う不確実量化(UQ)能力を確立するために収束するまで続けられた。 我々の貢献は、AIが加速する材料発見と設計を可能にするために、大規模計算資源を使用して、GFMを迅速に開発、訓練、展開するための扉を開く。

関連論文リスト

• On the Scalability of GNNs for Molecular Graphs [7.402389334892391]
  グラフニューラルネットワーク(GNN)は、スパース演算の効率の低下、大規模なデータ要求、さまざまなアーキテクチャの有効性の明確さの欠如など、スケールのメリットをまだ示していない。 我々は,2次元分子グラフの公開コレクションにおいて,メッセージパッシングネットワーク,グラフトランスフォーマー,ハイブリッドアーキテクチャを解析する。 初めて、GNNは、深度、幅、分子数、ラベルの数、事前訓練データセットの多様性の増大によって、非常に恩恵を受けることを観察した。
  論文  参考訳（メタデータ） (2024-04-17T17:11:31Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Enabling Accelerators for Graph Computing [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学ぶための新しいパラダイムを提供する。 GNNは従来のニューラルネットワークと比較して新しい計算課題を提示している。 この論文は、GNNが基盤となるハードウェアとどのように相互作用するかをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-16T23:31:20Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Scalable training of graph convolutional neural networks for fast and accurate predictions of HOMO-LUMO gap in molecules [1.8947048356389908]
  この研究は、数百万の分子の物質特性を予測するために、HPCシステム上でGCNNモデルを構築することに焦点を当てている。 PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。 我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
  論文  参考訳（メタデータ） (2022-07-22T20:54:22Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• GraphACT: Accelerating GCN Training on CPU-FPGA Heterogeneous Platforms [1.2183405753834562]
  グラフ畳み込みネットワーク(GCN)は、グラフ上での表現学習のための最先端のディープラーニングモデルとして登場した。 実質的かつ不規則なデータ通信のため、GCNの訓練を加速することは困難である。 我々はCPU-FPGAヘテロジニアスシステム上でGCNをトレーニングするための新しいアクセラレータを設計する。
  論文  参考訳（メタデータ） (2019-12-31T21:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。