論文の概要: When Does Global Attention Help? A Unified Empirical Study on Atomistic Graph Learning

• arxiv url: http://arxiv.org/abs/2510.05583v1
• Date: Tue, 07 Oct 2025 05:01:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.10762
• Title: When Does Global Attention Help? A Unified Empirical Study on Atomistic Graph Learning
• Title（参考訳）: グローバルアテンションはいつ役に立つのか? 原子論的グラフ学習に関する実証的研究
• Authors: Arindam Chowdhury, Massimiliano Lupo Pasini,
• Abstract要約: グラフニューラルネットワーク(GNN)は、原子スケールでの化合物の挙動を研究するためのコストの高い実験や第一原理シミュレーションのためのサロゲートとして広く利用されている。 我々はHydraGNN上に構築された最初の統一的で再現可能なベンチマークフレームワークを紹介する。 エンコーダを付加したMPNNはロバストなベースラインを形成する一方、融合したローカル・グローバル・モデルは長距離相互作用効果によって支配される特性に対して最も明確な利点をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 3.0767021798898546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) are widely used as surrogates for costly experiments and first-principles simulations to study the behavior of compounds at atomistic scale, and their architectural complexity is constantly increasing to enable the modeling of complex physics. While most recent GNNs combine more traditional message passing neural networks (MPNNs) layers to model short-range interactions with more advanced graph transformers (GTs) with global attention mechanisms to model long-range interactions, it is still unclear when global attention mechanisms provide real benefits over well-tuned MPNN layers due to inconsistent implementations, features, or hyperparameter tuning. We introduce the first unified, reproducible benchmarking framework - built on HydraGNN - that enables seamless switching among four controlled model classes: MPNN, MPNN with chemistry/topology encoders, GPS-style hybrids of MPNN with global attention, and fully fused local - global models with encoders. Using seven diverse open-source datasets for benchmarking across regression and classification tasks, we systematically isolate the contributions of message passing, global attention, and encoder-based feature augmentation. Our study shows that encoder-augmented MPNNs form a robust baseline, while fused local-global models yield the clearest benefits for properties governed by long-range interaction effects. We further quantify the accuracy - compute trade-offs of attention, reporting its overhead in memory. Together, these results establish the first controlled evaluation of global attention in atomistic graph learning and provide a reproducible testbed for future model development.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、原子スケールでの化合物の挙動を研究するためのコストの高い実験や第一原理シミュレーションのためのサロゲートとして広く使われており、複雑な物理のモデリングを可能にするために、そのアーキテクチャの複雑さは絶えず増大している。 最近のGNNは、より伝統的なメッセージパッシングニューラルネットワーク(MPNN)レイヤを、より高度なグラフトランスフォーマー(GT)と、長距離インタラクションをモデル化するためのグローバルアテンションメカニズムと組み合わせているが、一貫性のない実装、機能、ハイパーパラメータチューニングのために、グローバルアテンションメカニズムが、十分に調整されたMPNNレイヤよりも真のメリットを提供するかどうかはまだ不明である。 我々は,HydraGNN上に構築された最初の統一的再現可能なベンチマークフレームワークを紹介する。MPNN,化学/トポロジエンコーダ付きMPNN,グローバルアテンション付きMPNNのGPSスタイルハイブリッド,エンコーダ付き完全融合ローカルグローバルモデルである。 回帰および分類タスクのベンチマークに7つの異なるオープンソースデータセットを使用して、メッセージパッシング、グローバルアテンション、エンコーダベースの機能拡張のコントリビューションを体系的に分離する。 本研究は,エンコーダを付加したMPNNがロバストなベースラインを形成し,融合した局所球状モデルが長距離相互作用効果によって支配される特性に対して最も明確な利点をもたらすことを示す。 メモリのオーバーヘッドを報告しながら、注意のトレードオフを計算する。 これらの結果は,原子性グラフ学習におけるグローバルアテンションの制御された最初の評価を確立し,将来のモデル開発のための再現可能なテストベッドを提供する。

関連論文リスト

• Geometric Multi-color Message Passing Graph Neural Networks for Blood-brain Barrier Permeability Prediction [1.488392495573075]
  本稿では,幾何学的多色メッセージパッシンググラフニューラルネットワーク(GMC-MPNN)を提案する。 本モデルは,血液脳関門透過性を規定する空間的関係と化学的文脈を捉えるために,原子タイプに基づく重み付きカラーサブグラフを構築した。
  論文  参考訳（メタデータ） (2025-07-25T03:38:46Z)
• ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion [73.85920403511706]
  スケーラブルで効果的なグラフ学習のためのマルチホップノード機能を適応的に融合する新しいフレームワークであるScaleGNNを提案する。 予測精度と計算効率の両面で,ScaleGNNは最先端のGNNよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-22T14:05:11Z)
• Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
  本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。 学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability [0.9499648210774584]
  エッジ機能グラフニューラルネットワーク(GNN)における注意層内のマスアクティブ(MA)の出現を示す。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,エッジ機能付き注目型GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Global Attention based Graph Convolutional Neural Networks for Improved Materials Property Prediction [8.371766047183739]
  我々は,グラフニューラルネットワークに基づく無機材料特性の予測モデルであるGATGNNを開発した。 提案手法は, 従来のモデルの予測よりも優れており, 材料の結晶化に関する知見を提供することができる。
  論文  参考訳（メタデータ） (2020-03-11T07:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。