論文の概要: Breaking the Training Barrier of Billion-Parameter Universal Machine Learning Interatomic Potentials

• arxiv url: http://arxiv.org/abs/2604.15821v1
• Date: Fri, 17 Apr 2026 08:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.816501
• Title: Breaking the Training Barrier of Billion-Parameter Universal Machine Learning Interatomic Potentials
• Title（参考訳）: 10億Parameter Universal Machine Learning Interatomic potentialのトレーニング障壁を破る
• Authors: Yuanchang Zhou, Hongyu Wang, Yiming Du, Yan Wang, Mingzhen Li, Siyu Hu, Xiangyu Zhang, Weijian Liu, Chen Wang, Zhuoqiang Guo, Long Wang, Jingde Bu, Yutong Lu, Guangming Tan, Weile Jia,
• Abstract要約: 我々は,ハードウェアを意識した uMLIP のための高次元分散トレーニングフレームワークである MatRIS-MoE と Janus を紹介する。 我々のコードは1つの精度で 1.2/1.0 EFLOPS (理論ピークの24%/35.5%) のピーク性能を90%以上の並列効率で達成している。 この研究は、ExascaleでAI-for-Science(AI4S)基盤モデルのための新しいハイウォーターマークを確立する。
• 参考スコア（独自算出の注目度）: 25.963136125890298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Universal Machine Learning Interatomic Potentials (uMLIPs), pre-trained on massively diverse datasets encompassing inorganic materials and organic molecules across the entire periodic table, serve as foundational models for quantum-accurate physical simulations. However, uMLIP training requires second-order derivatives, which lack corresponding parallel training frameworks; moreover, scaling to the billion-parameter regime causes explosive growth in computation and communication overhead, making its training a tremendous challenge. We introduce MatRIS-MoE, a billion-parameter Mixture-of-Experts model built upon invariant architecture, and {Janus}, a pioneering high-dimensional distributed training framework for uMLIPs with hardware-aware optimizations. Deployed across two Exascale supercomputers, our code attains a peak performance of 1.2/1.0 EFLOPS (24\%/{35.5\%} of theoretical peak) in single precision at over 90\% parallel efficiency, compressing the training of billion-parameter uMLIPs from weeks to hours. This work establishes a new high-water mark for AI-for-Science (AI4S) foundation models at Exascale and provides essential infrastructure for rapid scientific discovery.
• Abstract（参考訳）: 汎用機械学習原子間ポテンシャル(Universal Machine Learning Interatomic potentials、UMLIP)は、周期表全体にわたって無機物質や有機分子を含む膨大な多様なデータセットに基づいて事前訓練され、量子精度の物理シミュレーションの基礎モデルとして機能する。 しかし、uMLIPトレーニングには、対応する並列トレーニングフレームワークが欠如している2階微分を必要とする。 我々は、不変アーキテクチャ上に構築された10億パラメータのMixture-of-ExpertsモデルであるMatRIS-MoEと、ハードウェア対応最適化によるUMLIPのための高次元分散トレーニングフレームワークである {Janus}を紹介した。 2つのエクサスケールスーパーコンピュータにまたがってデプロイされた私たちのコードは、1つの精度で1.2/1.0EFLOPS(理論ピークの24\%/{35.5\%})のピーク性能を90%以上の並列効率で達成し、数週間から数時間間で10億パラメータのUMLIPのトレーニングを圧縮する。 この研究は、ExascaleでAI4S(AI-for-Science)基盤モデルのための新しいハイウォーターマークを確立し、迅速な科学的発見に不可欠なインフラを提供する。

関連論文リスト

• Scalable Training of Mixture-of-Experts Models with Megatron Core [26.9162079065285]
  MOE(Scaling Mixture-of-Experts)トレーニングでは、密集したモデルに欠けているシステムの課題が導入されている。 各トークンは専門家のサブセットのみを活性化するため、このスパーシリティにより、トータルパラメータはトーケン計算よりもはるかに高速に成長できる。 メモリ(微細な再計算,オフロード,通信,計算)の統合最適化により,MoEトレーニングにおけるこれらの課題に対処する。
  論文  参考訳（メタデータ） (2026-03-08T15:42:43Z)
• Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
  ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。 Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
  論文  参考訳（メタデータ） (2025-12-31T04:25:11Z)
• Iterative Pretraining Framework for Interatomic Potentials [46.53683458224917]
  MLIPモデルの予測性能を向上させるために, 原子間ポテンシャルの反復事前学習(IPIP)を提案する。 IPIPは、反復訓練が最適な局所最小値に収束するのを防ぐための、忘れるメカニズムを組み込んでいる。 汎用力場と比較すると,Mo-S-Oシステムでは予測誤差が80%以上減少し,最大4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-07-27T03:59:41Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
  機械学習型原子間ポテンシャル(MLIP)のトレーニングのための物理インフォームド・弱教師付きアプローチを導入する。 我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。 我々のアプローチは、スパースで高精度なアブ・イニシアチブデータに基づく基礎モデルの微調整を改善する。
  論文  参考訳（メタデータ） (2024-07-23T12:49:04Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• MAD Max Beyond Single-Node: Enabling Large Machine Learning Model Acceleration on Distributed Systems [6.8519529064678375]
  大規模な機械学習モデルのトレーニングとデプロイには時間がかかり、分散コンピューティングのインフラがかなり必要で、運用コストも高い。 この卓越した通信遅延を最小化するために、我々はアジャイルのパフォーマンスモデリングフレームワークMAD-Maxを導入しました。 このフレームワークは、並列化戦略を最適化し、ハードウェアとソフトウェアの共同設計の機会を促進するように設計されている。
  論文  参考訳（メタデータ） (2023-10-04T13:00:53Z)
• h-analysis and data-parallel physics-informed neural networks [0.7614628596146599]
  物理インフォームドニューラルネットワーク(PINN)に着目した機械学習スキームのデータ並列高速化について検討する。 我々はHorovodトレーニングフレームワークを通じて、$h$-analysisとデータ並列アクセラレーションに基づく新しいプロトコルを詳述する。 アクセラレーションは実装が簡単で、トレーニングを損なわず、非常に効率的で制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-17T12:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。