論文の概要: Optimizing Data Distribution and Kernel Performance for Efficient Training of Chemistry Foundation Models: A Case Study with MACE

• arxiv url: http://arxiv.org/abs/2504.10700v1
• Date: Mon, 14 Apr 2025 20:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:07:05.209669
• Title: Optimizing Data Distribution and Kernel Performance for Efficient Training of Chemistry Foundation Models: A Case Study with MACE
• Title（参考訳）: 化学基礎モデルの効率的な学習のためのデータ分散とカーネル性能の最適化:MACEを用いたケーススタディ
• Authors: Jesun Firoz, Franco Pellegrini, Mario Geiger, Darren Hsu, Jenna A. Bilbrey, Han-Yi Chou, Maximilian Stadler, Markus Hoehnerbach, Tingyu Wang, Dejun Lin, Emine Kucukbenli, Henry W. Sprueill, Ilyes Batatia, Sotiris S. Xantheas, MalSoon Lee, Chris Mundy, Gabor Csanyi, Justin S. Smith, Ponnuswamy Sadayappan, Sutanay Choudhury,
• Abstract要約: グラフニューラルネットワーク(GNN)を利用する化学基礎モデル(CFM)は、3次元分子グラフ構造で動作する。 本稿では,CFMトレーニングにおける2つの重要なフェーズ,すなわちデータ分散とモデルトレーニングの最適化について述べる。 本稿では,効率的なデータ分散を実現するために,高効率で高速かつ実用的な手法を提供する反復アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.143643133286159
• License:
• Abstract: Chemistry Foundation Models (CFMs) that leverage Graph Neural Networks (GNNs) operating on 3D molecular graph structures are becoming indispensable tools for computational chemists and materials scientists. These models facilitate the understanding of matter and the discovery of new molecules and materials. In contrast to GNNs operating on a large homogeneous graphs, GNNs used by CFMs process a large number of geometric graphs of varying sizes, requiring different optimization strategies than those developed for large homogeneous GNNs. This paper presents optimizations for two critical phases of CFM training: data distribution and model training, targeting MACE - a state-of-the-art CFM. We address the challenge of load balancing in data distribution by formulating it as a multi-objective bin packing problem. We propose an iterative algorithm that provides a highly effective, fast, and practical solution, ensuring efficient data distribution. For the training phase, we identify symmetric tensor contraction as the key computational kernel in MACE and optimize this kernel to improve the overall performance. Our combined approach of balanced data distribution and kernel optimization significantly enhances the training process of MACE. Experimental results demonstrate a substantial speedup, reducing per-epoch execution time for training from 12 to 2 minutes on 740 GPUs with a 2.6M sample dataset.
• Abstract（参考訳）: 3次元分子グラフ構造で動作するグラフニューラルネットワーク(GNN)を利用する化学基礎モデル(CFM)は、計算化学者や材料科学者にとって欠かせないツールになりつつある。 これらのモデルは物質の理解と新しい分子や物質の発見を促進する。 大規模な均質グラフで動作するGNNとは対照的に、CFMで使用されるGNNは様々な大きさの幾何グラフを処理し、大きな均質GNNで開発されたものとは異なる最適化戦略を必要とする。 本稿では,CFMトレーニングにおける2つの重要なフェーズ,すなわちデータ分散とモデルトレーニングの最適化について述べる。 本稿では,データ分散におけるロードバランシングの課題を,多目的ビンパッキング問題として定式化することで解決する。 本稿では,効率的なデータ分散を実現するために,高効率で高速かつ実用的な手法を提供する反復アルゴリズムを提案する。 トレーニングフェーズでは、対称テンソル収縮を MACE の重要な計算カーネルとして識別し、このカーネルを最適化して全体的な性能を向上させる。 バランスの取れたデータ分散とカーネル最適化の組み合わせは、MACEのトレーニングプロセスを大幅に強化します。 実験結果は大幅なスピードアップを示し、2.6Mサンプルデータセットを持つ740GPU上でのトレーニングの実行時間を12分から2分に短縮した。

関連論文リスト

• GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
  グラフ拡散型ソリューション生成(GDSG)法を提案する。 このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。 グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
  論文  参考訳（メタデータ） (2024-12-11T11:13:43Z)
• Physics-informed MeshGraphNets (PI-MGNs): Neural finite element solvers for non-stationary and nonlinear simulations on arbitrary meshes [13.41003911618347]
  PI-MGNは、PINNとMGNを組み合わせて任意のメッシュ上の非定常および非線形偏微分方程式(PDE)を解くハイブリッドアプローチである。 結果は、モデルが大規模で複雑なメッシュにうまくスケールしていることを示しているが、小さなジェネリックメッシュでのみトレーニングされている。
  論文  参考訳（メタデータ） (2024-02-16T13:34:51Z)
• Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
  ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:48:08Z)
• Entropy Aware Training for Fast and Accurate Distributed GNN [0.0]
  数十億のグラフ上でグラフニューラルネットワーク(GNN)をスケールするために、いくつかの分散フレームワークが開発されている。 トレーニング時間を短縮し、精度を向上させる技術を開発した。 当社のアルゴリズムはDistDGLフレームワーク上に実装されており,既存のトレーニング手法よりもはるかに優れたスケーリングを実現する。
  論文  参考訳（メタデータ） (2023-11-04T13:11:49Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Transfer learning for atomistic simulations using GNNs and kernel mean embeddings [24.560340485988128]
  本稿では, グラフニューラルネットワーク(GNN)を用いて, カーネル平均埋め込みとともに, 化学環境を表現するトランスファー学習アルゴリズムを提案する。 我々は,複雑性を増大させる一連の現実的なデータセットに対して,我々のアプローチを検証し,優れた一般化と伝達可能性性能を示す。
  論文  参考訳（メタデータ） (2023-06-02T14:58:16Z)
• Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning [4.644263115284322]
  グラフニューラルネットワーク(GNN)は、半教師付き学習において、グラフ構造化データのモデルとして期待できるクラスとして最近登場した。 この帰納バイアスをGPに導入して,グラフ構造化データの予測性能を向上させる。 これらのグラフベースのカーネルは、各GNNと比較して、競合する分類と回帰性能、および時間の長所をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-02-12T01:07:56Z)
• Scalable training of graph convolutional neural networks for fast and accurate predictions of HOMO-LUMO gap in molecules [1.8947048356389908]
  この研究は、数百万の分子の物質特性を予測するために、HPCシステム上でGCNNモデルを構築することに焦点を当てている。 PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。 我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
  論文  参考訳（メタデータ） (2022-07-22T20:54:22Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。