論文の概要: Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling

• arxiv url: http://arxiv.org/abs/2504.08112v1
• Date: Thu, 10 Apr 2025 20:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:48.080431
• Title: Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling
• Title（参考訳）: 原子性物質モデリングのためのグラフニューラルネットワークのスケーリング法則
• Authors: Chaojian Li, Zhifan Ye, Massimiliano Lupo Pasini, Jong Youl Choi, Cheng Wan, Yingyan Celine Lin, Prasanna Balaprakash,
• Abstract要約: 原子論的な物質モデリングは、薬物発見から物質科学まで幅広い応用において重要な課題である。 グラフニューラルネットワーク(GNN)は、原子性物質データをモデリングするための最先端のアプローチである。 原子モデルのためのGNNは、数十億のパラメータとテラバイト規模のデータセットを利用する大規模言語モデル(LLM)と比較して、比較的小さいままである。
• 参考スコア（独自算出の注目度）: 11.61369154220932
• License:
• Abstract: Atomistic materials modeling is a critical task with wide-ranging applications, from drug discovery to materials science, where accurate predictions of the target material property can lead to significant advancements in scientific discovery. Graph Neural Networks (GNNs) represent the state-of-the-art approach for modeling atomistic material data thanks to their capacity to capture complex relational structures. While machine learning performance has historically improved with larger models and datasets, GNNs for atomistic materials modeling remain relatively small compared to large language models (LLMs), which leverage billions of parameters and terabyte-scale datasets to achieve remarkable performance in their respective domains. To address this gap, we explore the scaling limits of GNNs for atomistic materials modeling by developing a foundational model with billions of parameters, trained on extensive datasets in terabyte-scale. Our approach incorporates techniques from LLM libraries to efficiently manage large-scale data and models, enabling both effective training and deployment of these large-scale GNN models. This work addresses three fundamental questions in scaling GNNs: the potential for scaling GNN model architectures, the effect of dataset size on model accuracy, and the applicability of LLM-inspired techniques to GNN architectures. Specifically, the outcomes of this study include (1) insights into the scaling laws for GNNs, highlighting the relationship between model size, dataset volume, and accuracy, (2) a foundational GNN model optimized for atomistic materials modeling, and (3) a GNN codebase enhanced with advanced LLM-based training techniques. Our findings lay the groundwork for large-scale GNNs with billions of parameters and terabyte-scale datasets, establishing a scalable pathway for future advancements in atomistic materials modeling.
• Abstract（参考訳）: 原子論的な物質モデリングは、薬物発見から材料科学まで幅広い応用において重要な課題であり、標的物質特性の正確な予測が科学的な発見に大きな進歩をもたらす可能性がある。 グラフニューラルネットワーク(GNN)は、複雑なリレーショナル構造をキャプチャする能力のおかげで、原子論的な物質データをモデリングするための最先端のアプローチである。 機械学習のパフォーマンスは、歴史的により大きなモデルやデータセットで改善されてきたが、原子モデルのためのGNNは、数十億のパラメータとテラバイト規模のデータセットを活用して、それぞれのドメインで顕著なパフォーマンスを達成する大きな言語モデル(LLM)と比較して、比較的小さいままである。 このギャップに対処するために、テラバイト規模の広範囲なデータセットに基づいて訓練された数十億のパラメータからなる基礎モデルを開発することにより、原子論的な物質モデリングのためのGNNのスケーリング限界について検討する。 提案手法は,大規模データとモデルを効率的に管理するLLMライブラリの手法を取り入れ,これらの大規模GNNモデルの効果的なトレーニングと展開を可能にする。 この研究は、GNNのスケーリングにおける基本的な3つの問題に対処する。GNNモデルアーキテクチャのスケーリングの可能性、モデル精度に対するデータセットサイズの影響、GNNアーキテクチャへのLLMにインスパイアされた技術の適用性である。 具体的には,(1)GNNのスケーリング法則の考察,(2)モデルサイズ,データセット容積,精度の関係を明らかにすること,(2)原子モデルに最適化された基礎的なGNNモデル,(3)高度なLLMベースのトレーニング技術で強化されたGNNコードベースについて述べる。 我々の研究は、数十億のパラメータとテラバイト規模のデータセットを持つ大規模GNNの基盤を築き、将来的な原子間物質モデリングの進歩のためのスケーラブルな経路を確立した。

関連論文リスト

• DenseGNN: universal and scalable deeper graph neural networks for high-performance property prediction in crystals and molecules [4.648990939177395]
  本稿では,Dense Connectivity Network (DCN), Hierarchical Node-Edge-Graph Residual Networks (HRN), Local Structure Orders Embedding (LOPE)を活用するDenseGNNを紹介する。 DenseGNNは、JARVIS-DFT、Material Project、QM9などのデータセット上での最先端のパフォーマンスを実現し、GIN、Schnet、Hamnetといったモデルのパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2025-01-05T13:41:28Z)
• Conservation-informed Graph Learning for Spatiotemporal Dynamics Prediction [84.26340606752763]
  本稿では,保護インフォームドGNN(CiGNN)について紹介する。 このネットワークは、保守的かつ非保守的な情報が、潜時的行進戦略によって多次元空間を通過する対称性による一般的な対称性保存則に従うように設計されている。 結果は,CiGNNが顕著なベースライン精度と一般化性を示し,様々な時間的ダイナミクスの予測のための学習に容易に適用可能であることを示した。
  論文  参考訳（メタデータ） (2024-12-30T13:55:59Z)
• Neural P$^3$M: A Long-Range Interaction Modeling Enhancer for Geometric GNNs [66.98487644676906]
  我々は,幾何学的GNNの汎用エンハンサーであるNeural P$3$Mを導入し,その機能範囲を拡大する。 幅広い分子系に柔軟性を示し、エネルギーと力を予測する際、顕著な精度を示す。 また、さまざまなアーキテクチャを統合しながら、OE62データセットで平均22%の改善も達成している。
  論文  参考訳（メタデータ） (2024-09-26T08:16:59Z)
• Improving Molecular Modeling with Geometric GNNs: an Empirical Study [56.52346265722167]
  本稿では,異なる標準化手法,(2)グラフ作成戦略,(3)補助的なタスクが性能,拡張性,対称性の強制に与える影響に焦点をあてる。 本研究の目的は,分子モデリングタスクに最適なモデリングコンポーネントの選択を研究者に案内することである。
  論文  参考訳（メタデータ） (2024-07-11T09:04:12Z)
• Demystifying Higher-Order Graph Neural Networks [17.85580660943616]
  高階グラフニューラルネットワーク(HOGNN)とトポロジカルディープラーニングの関連アーキテクチャは、GNNモデルの重要なクラスである。 分類学を用いて、利用可能なHOGNNモデルを分析し、比較する。 分析の結果は、与えられたシナリオにおいて最も有益なGNNモデルを選択するのに役立つ洞察の集合として合成される。
  論文  参考訳（メタデータ） (2024-06-18T17:57:11Z)
• On the Scalability of GNNs for Molecular Graphs [7.402389334892391]
  グラフニューラルネットワーク(GNN)は、スパース演算の効率の低下、大規模なデータ要求、さまざまなアーキテクチャの有効性の明確さの欠如など、スケールのメリットをまだ示していない。 我々は,2次元分子グラフの公開コレクションにおいて,メッセージパッシングネットワーク,グラフトランスフォーマー,ハイブリッドアーキテクチャを解析する。 初めて、GNNは、深度、幅、分子数、ラベルの数、事前訓練データセットの多様性の増大によって、非常に恩恵を受けることを観察した。
  論文  参考訳（メタデータ） (2024-04-17T17:11:31Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Scalable deeper graph neural networks for high-performance materials property prediction [1.9129213267332026]
  本稿では,グループ分け可能な正規化とスキップ接続が可能な新しいグラフ注意ニューラルネットワークモデルDeeperGATGNNを提案する。 我々の研究は、結晶構造をそれらの性質にマッピングする複雑さに対処するためには、堅牢な性能を達成するために大規模な非常に深いグラフニューラルネットワークが必要であることを示している。
  論文  参考訳（メタデータ） (2021-09-25T05:58:04Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Global Attention based Graph Convolutional Neural Networks for Improved Materials Property Prediction [8.371766047183739]
  我々は,グラフニューラルネットワークに基づく無機材料特性の予測モデルであるGATGNNを開発した。 提案手法は, 従来のモデルの予測よりも優れており, 材料の結晶化に関する知見を提供することができる。
  論文  参考訳（メタデータ） (2020-03-11T07:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。