論文の概要: Exascale Multi-Task Graph Foundation Models for Imbalanced, Multi-Fidelity Atomistic Data

• arxiv url: http://arxiv.org/abs/2604.15380v1
• Date: Wed, 15 Apr 2026 23:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.572223
• Title: Exascale Multi-Task Graph Foundation Models for Imbalanced, Multi-Fidelity Atomistic Data
• Title（参考訳）: 不均衡多要素原子性データのための大規模マルチタスクグラフ基礎モデル
• Authors: Massimiliano Lupo Pasini, Jong Youl Choi, Kshitij Mehta, Richard Messerly, Rylie Weaver, Linda Ungerboeck, Isaac Lyngaas, Benajmin Stump, Ashwin M. Aji, Karl W. Schulz, Jorda Polo,
• Abstract要約: 本稿ではHydraGNN上に構築された原子構造グラフ基盤モデルを用いた材料発見のためのエクサスケールワークフローを提案する。 我々は、データセット毎のヘッドとスケーラブルなADIOS2/DDStoreデータパイプラインを備えたマルチタスクアーキテクチャを使用して、16のオープンなファーストプリンシプルデータセットを共同でトレーニングする。 結果として得られたモデルは、50秒で10億の原子構造を評価する、数十億のスケールのスクリーニングを可能にする。
• 参考スコア（独自算出の注目度）: 0.07349072651956833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an exascale workflow for materials discovery using atomistic graph foundation models built on HydraGNN. We jointly train on 16 open first-principles datasets (544+ million structures covering 85+ elements) using a multi-task architecture with per-dataset heads and a scalable ADIOS2/DDStore data pipeline. On Frontier, we execute six large-scale DeepHyper hyperparameter optimization campaigns in FP64 and promote the top-performing message-passing models to sustained 2,048-node training, yielding a PaiNN-based lead model. The resulting model enables billion-scale screening, evaluating 1.1 billion atomistic structures in 50 seconds, compressing a workload that would require years of first-principles computation, and supports data-scarce fine-tuning across diverse downstream tasks. We quantify precision-performance tradeoffs (BF16/FP32/FP64), demonstrate transfer across twelve chemically diverse downstream tasks, and establish seamless strong- and weak-scaling across Frontier, Aurora, and Perlmutter. This work allows fast and reliable exploration of vast chemical design spaces that are otherwise inaccessible to first-principles methods.
• Abstract（参考訳）: 本稿ではHydraGNN上に構築された原子構造グラフ基盤モデルを用いた材料発見のためのエクサスケールワークフローを提案する。 私たちは、データセットごとのヘッドとスケーラブルなADIOS2/DDStoreデータパイプラインを備えたマルチタスクアーキテクチャを使用して、16のオープンなファーストプリンシプルデータセット(85以上の要素をカバーする544万以上の構造)を共同でトレーニングします。 Frontierでは、FP64で6つの大規模DeepHyperハイパーパラメータ最適化キャンペーンを実行し、2,048ノードトレーニングを継続し、PaiNNベースのリードモデルを生成する。 結果として得られたモデルは、数十億スケールのスクリーニングを可能にし、50秒で11億の原子構造を評価し、何年もの第一原理計算を必要とするワークロードを圧縮し、さまざまな下流タスクにわたるデータスカース微調整をサポートする。 精度・性能トレードオフ(BF16/FP32/FP64)を定量化し, 化学的に多種多様な下流タスクの伝達を実証し, フロンティア, オーロラ, ペルマッター間のシームレスな強弱スケーリングを確立する。 この研究により、第一原理法に到達できない広大な化学設計空間の迅速かつ信頼性の高い探索が可能になる。

関連論文リスト

• Breaking the Training Barrier of Billion-Parameter Universal Machine Learning Interatomic Potentials [25.963136125890298]
  我々は,ハードウェアを意識した uMLIP のための高次元分散トレーニングフレームワークである MatRIS-MoE と Janus を紹介する。 我々のコードは1つの精度で 1.2/1.0 EFLOPS (理論ピークの24%/35.5%) のピーク性能を90%以上の並列効率で達成している。 この研究は、ExascaleでAI-for-Science(AI4S)基盤モデルのための新しいハイウォーターマークを確立する。
  論文  参考訳（メタデータ） (2026-04-17T08:20:32Z)
• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• Multi-task parallelism for robust pre-training of graph foundation models on multi-source, multi-fidelity atomistic modeling data [4.3387776186428]
  グラフニューラルネットワークを用いたグラフ基盤モデルは、持続的で効率的な原子論的モデリングを約束する。 プレトレーニング中のマルチソース・マルチ忠実データ処理の課題に対処するために、近年の研究ではマルチタスク学習を採用している。 本稿では,GPUアクセラレーションを用いたマルチタスク並列化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-26T22:04:05Z)
• SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language Model [63.723408707172894]
  本研究は,地震モニタリングにクロスモーダル転送を利用する最初の基礎モデルであるSeesMoLLMを提示する。 5つの重要なタスクでDiTingとSTEADデータセットの最先端のパフォーマンスを実現する。 優れたパフォーマンスに加えて、SeesMoLLMはトレーニングと推論の両方において軽量モデルに匹敵する効率を維持している。
  論文  参考訳（メタデータ） (2025-02-27T10:35:53Z)
• Foundation Models for Structural Health Monitoring [14.36493796970864]
  本稿では,トランスフォーマーニューラルネットワークをMasked Auto-Encoderアーキテクチャを用いて,構造的健康モニタリングのための基礎モデルとして初めて利用することを提案する。 自己教師付き事前学習を通じて、複数の大規模データセットから一般化可能な表現を学習する能力を実証する。 本研究は,3つの運用用インダクトのデータを用いた基礎モデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-04-03T13:32:44Z)
• From Molecules to Materials: Pre-training Large Generalizable Models for Atomic Property Prediction [2.8785233555405942]
  合同マルチドメイン事前訓練(JMP)は、異なる化学ドメインから複数のデータセットを同時にトレーニングする教師付き事前訓練戦略である。 JMPは、スクラッチからトレーニングまでの平均59%の改善を示し、40タスク中34タスクで最先端のタスクをマッチまたはセットする。
  論文  参考訳（メタデータ） (2023-10-25T17:32:23Z)
• SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation [83.18930314027254]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 本研究では,VT-Huge をバックボーンとする第1次一般基礎モデル (SMPLer-X) に向けた EHPS のスケールアップについて検討する。 ビッグデータと大規模モデルにより、SMPLer-Xは、さまざまなテストベンチマークにまたがる強力なパフォーマンスと、目に見えない環境への優れた転送性を示す。
  論文  参考訳（メタデータ） (2023-09-29T17:58:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。