論文の概要: Towards Training Billion Parameter Graph Neural Networks for Atomic Simulations

• arxiv url: http://arxiv.org/abs/2203.09697v1
• Date: Fri, 18 Mar 2022 01:54:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-21 13:35:58.369722
• Title: Towards Training Billion Parameter Graph Neural Networks for Atomic Simulations
• Title（参考訳）: 原子シミュレーションのための数十億のパラメータグラフニューラルネットワークの学習に向けて
• Authors: Anuroop Sriram, Abhishek Das, Brandon M. Wood, Siddharth Goyal, C. Lawrence Zitnick
• Abstract要約: グラフ並列性(Graph Parallelism)は、入力グラフを複数のGPUに分散する手法であり、数十億から数十億のパラメータで非常に大きなGNNをトレーニングすることができる。 大規模Open Catalyst 2020データセットでは、これらのグラフ並列化モデルは、S2EFタスクの力MAEメトリックで15%、IS2RSタスクのAFbTメトリックで21%の相対的な改善をもたらす。
• 参考スコア（独自算出の注目度）: 11.328193255838986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in Graph Neural Networks (GNNs) for modeling atomic simulations has the potential to revolutionize catalyst discovery, which is a key step in making progress towards the energy breakthroughs needed to combat climate change. However, the GNNs that have proven most effective for this task are memory intensive as they model higher-order interactions in the graphs such as those between triplets or quadruplets of atoms, making it challenging to scale these models. In this paper, we introduce Graph Parallelism, a method to distribute input graphs across multiple GPUs, enabling us to train very large GNNs with hundreds of millions or billions of parameters. We empirically evaluate our method by scaling up the number of parameters of the recently proposed DimeNet++ and GemNet models by over an order of magnitude. On the large-scale Open Catalyst 2020 (OC20) dataset, these graph-parallelized models lead to relative improvements of 1) 15% on the force MAE metric for the S2EF task and 2) 21% on the AFbT metric for the IS2RS task, establishing new state-of-the-art results.
• Abstract（参考訳）: 原子シミュレーションをモデル化するためのグラフニューラルネットワーク(gnns)の最近の進歩は、触媒の発見に革命を起こす可能性を秘めている。 しかし、このタスクで最も効果的であることが証明されたGNNは、三重項や四重項のようなグラフ内の高次相互作用をモデル化するため、メモリ集約的であり、これらのモデルをスケールすることは困難である。 本稿では、複数のGPUにまたがる入力グラフを分散するグラフ並列性を導入し、数十億から数十億のパラメータで非常に大きなGNNを訓練することを可能にする。 最近提案されたdimenet++とgemnetモデルのパラメータ数を1桁以上スケールアップして,本手法を実証的に評価した。 大規模open catalyst 2020(oc20)データセットでは、グラフ並列化モデルが相対的に改善される。 1)s2efタスクのforce maeメトリックの15%、および 2) IS2RS タスクの AFbT 測定値の 21% は, 新たな最先端の結果が得られた。

関連論文リスト

• Scalable Training of Trustworthy and Energy-Efficient Predictive Graph Foundation Models for Atomistic Materials Modeling: A Case Study with HydraGNN [5.386946356430465]
  我々はHydraGNNを用いて、スケーラブルで信頼性があり、エネルギー効率の高い予測グラフ基盤モデル(GFM)を開発し、訓練する。 HydraGNNは、トレーニングスケールとデータの多様性の両方において、グラフニューラルネットワーク(GNN)計算の境界を拡張する。 GFMはマルチタスク学習(MTL)を用いて、原子構造体のグラフレベルとノードレベルの特性を同時に学習する。
  論文  参考訳（メタデータ） (2024-06-12T21:21:42Z)
• On the Scalability of GNNs for Molecular Graphs [7.402389334892391]
  グラフニューラルネットワーク(GNN)は、スパース演算の効率の低下、大規模なデータ要求、さまざまなアーキテクチャの有効性の明確さの欠如など、スケールのメリットをまだ示していない。 我々は,2次元分子グラフの公開コレクションにおいて,メッセージパッシングネットワーク,グラフトランスフォーマー,ハイブリッドアーキテクチャを解析する。 初めて、GNNは、深度、幅、分子数、ラベルの数、事前訓練データセットの多様性の増大によって、非常に恩恵を受けることを観察した。
  論文  参考訳（メタデータ） (2024-04-17T17:11:31Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
  本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。 その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-02-07T16:38:36Z)
• Rotation Invariant Graph Neural Networks using Spin Convolutions [28.4962005849904]
  機械学習アプローチは、密度汎関数理論(DFT)を計算的に効率的に近似する可能性がある。 グラフニューラルネットワークにおいて,隣り合う原子の集合間の角度情報をモデル化するための新しい手法を提案する。 結果は大規模なOpen Catalyst 2020データセットで実証されている。
  論文  参考訳（メタデータ） (2021-06-17T14:59:34Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。