論文の概要: Scalable training of graph convolutional neural networks for fast and
accurate predictions of HOMO-LUMO gap in molecules
- arxiv url: http://arxiv.org/abs/2207.11333v1
- Date: Fri, 22 Jul 2022 20:54:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 14:00:03.461095
- Title: Scalable training of graph convolutional neural networks for fast and
accurate predictions of HOMO-LUMO gap in molecules
- Title（参考訳）: 分子のHOMO-LUMOギャップの高速かつ正確な予測のためのグラフ畳み込みニューラルネットワークのスケーラブルな訓練
- Authors: Jong Youl Choi, Pei Zhang, Kshitij Mehta, Andrew Blanchard,
Massimiliano Lupo Pasini
- Abstract要約: この研究は、数百万の分子の物質特性を予測するために、HPCシステム上でGCNNモデルを構築することに焦点を当てている。
PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。
我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
- 参考スコア（独自算出の注目度）: 1.8947048356389908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Convolutional Neural Network (GCNN) is a popular class of deep learning
(DL) models in material science to predict material properties from the graph
representation of molecular structures. Training an accurate and comprehensive
GCNN surrogate for molecular design requires large-scale graph datasets and is
usually a time-consuming process. Recent advances in GPUs and distributed
computing open a path to reduce the computational cost for GCNN training
effectively. However, efficient utilization of high performance computing (HPC)
resources for training requires simultaneously optimizing large-scale data
management and scalable stochastic batched optimization techniques. In this
work, we focus on building GCNN models on HPC systems to predict material
properties of millions of molecules. We use HydraGNN, our in-house library for
large-scale GCNN training, leveraging distributed data parallelism in PyTorch.
We use ADIOS, a high-performance data management framework for efficient
storage and reading of large molecular graph data. We perform parallel training
on two open-source large-scale graph datasets to build a GCNN predictor for an
important quantum property known as the HOMO-LUMO gap. We measure the
scalability, accuracy, and convergence of our approach on two DOE
supercomputers: the Summit supercomputer at the Oak Ridge Leadership Computing
Facility (OLCF) and the Perlmutter system at the National Energy Research
Scientific Computing Center (NERSC). We present our experimental results with
HydraGNN showing i) reduction of data loading time up to 4.2 times compared
with a conventional method and ii) linear scaling performance for training up
to 1,024 GPUs on both Summit and Perlmutter.
- Abstract（参考訳）: グラフ畳み込みニューラルネットワーク(GCNN)は、分子構造のグラフ表現から物質特性を予測するための、物質科学におけるディープラーニング(DL)モデルの一般的なクラスである。
分子設計のための正確で包括的なGCNNサロゲートをトレーニングするには、大規模なグラフデータセットが必要である。
GPUと分散コンピューティングの最近の進歩は、GCNNトレーニングの計算コストを効果的に削減するための道を開く。
しかし、高パフォーマンスコンピューティング(hpc)リソースを効率的にトレーニングするためには、大規模データ管理とスケーラブルな確率的バッチ最適化を同時に最適化する必要がある。
本研究は, 数百万分子の物質特性を予測するためのGCNNモデルをHPCシステム上に構築することに焦点を当てる。
PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。
我々は,大規模分子グラフデータの効率的な保存と読み出しのための高性能データ管理フレームワークであるADIOSを使用している。
我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
我々は,oak ridge leadership computing facility (olcf) の summit supercomputer とnational energy research scientific computing center (nersc) の perlmutter system という2つの doe スーパーコンピュータ上でのアプローチのスケーラビリティ,正確性,収束性を測定した。
HydraGNNによる実験結果について報告する。
一 従来の方法に比べてデータのロード時間を4.2倍に短縮すること、及び
ii) summit と perlmutter の両方で 1024 gpu までのトレーニングを行うための線形スケーリング性能。
関連論文リスト
- Scalable Training of Trustworthy and Energy-Efficient Predictive Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN [5.386946356430465]
我々はHydraGNNを用いて、スケーラブルで信頼性があり、エネルギー効率の高い予測グラフ基盤モデル(GFM)を開発し、訓練する。
HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)計算の境界を拡張する。
GFMはマルチタスク学習(MTL)を用いて、原子構造体のグラフレベルとノードレベルの特性を同時に学習する。
論文 参考訳（メタデータ） (2024-06-12T21:21:42Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Transfer learning for atomistic simulations using GNNs and kernel mean
embeddings [24.560340485988128]
本稿では, グラフニューラルネットワーク(GNN)を用いて, カーネル平均埋め込みとともに, 化学環境を表現するトランスファー学習アルゴリズムを提案する。
我々は,複雑性を増大させる一連の現実的なデータセットに対して,我々のアプローチを検証し,優れた一般化と伝達可能性性能を示す。
論文 参考訳（メタデータ） (2023-06-02T14:58:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。
グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。
我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。
第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。
第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2022-11-06T20:46:50Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and
Preprocessing [0.0]
グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。
既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。
本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
論文 参考訳（メタデータ） (2021-12-16T00:37:37Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Not Half Bad: Exploring Half-Precision in Graph Convolutional Neural
Networks [8.460826851547294]
現代の機械学習を用いた効率的なグラフ解析は、ますます注目を集めている。
ディープラーニングアプローチは、隣接行列全体にわたって運用されることが多い。
実行時間とメモリ要求の両方を削減するための効率的な対策を特定することが望ましい。
論文 参考訳（メタデータ） (2020-10-23T19:47:42Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2020-07-03T09:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。