論文の概要: Expressivity and Generalization: Fragment-Biases for Molecular GNNs

• arxiv url: http://arxiv.org/abs/2406.08210v1
• Date: Wed, 12 Jun 2024 13:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:46:00.391971
• Title: Expressivity and Generalization: Fragment-Biases for Molecular GNNs
• Title（参考訳）: 表現性と一般化:分子GNNのためのフラグメントバイアス
• Authors: Tom Wollschläger, Niklas Kemper, Leon Hetzel, Johanna Sommer, Stephan Günnemann,
• Abstract要約: Wesfeiler & Leman テストの拡張である Fragment-WL テストを提案し,フラグメントバイアス GNN の理論的解析を可能にする。 我々は,表現性を著しく向上させる新しいGNNアーキテクチャと無限語彙の断片化を開発する。 本稿では,最新のトランスアーキテクチャと比較して,モデルが優れた一般化能力を示すことを示す。
• 参考スコア（独自算出の注目度）: 42.64483757766247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although recent advances in higher-order Graph Neural Networks (GNNs) improve the theoretical expressiveness and molecular property predictive performance, they often fall short of the empirical performance of models that explicitly use fragment information as inductive bias. However, for these approaches, there exists no theoretic expressivity study. In this work, we propose the Fragment-WL test, an extension to the well-known Weisfeiler & Leman (WL) test, which enables the theoretic analysis of these fragment-biased GNNs. Building on the insights gained from the Fragment-WL test, we develop a new GNN architecture and a fragmentation with infinite vocabulary that significantly boosts expressiveness. We show the effectiveness of our model on synthetic and real-world data where we outperform all GNNs on Peptides and have 12% lower error than all GNNs on ZINC and 34% lower error than other fragment-biased models. Furthermore, we show that our model exhibits superior generalization capabilities compared to the latest transformer-based architectures, positioning it as a robust solution for a range of molecular modeling tasks.
• Abstract（参考訳）: 近年の高次グラフニューラルネットワーク(GNN)の進歩は、理論的表現性や分子特性予測性能を改善しているが、断片情報を帰納バイアスとして明示的に使用するモデルの経験的性能に欠けることが多い。 しかし、これらのアプローチに対して、理論的表現性の研究は存在しない。 本研究では,これらのフラグメントバイアスGNNの理論的解析を可能にする,有名なWeisfeiler & Leman(WL)テストの拡張であるFragment-WLテストを提案する。 Fragment-WLテストから得られた知見に基づいて、表現性を著しく向上させる無限語彙の断片化と新しいGNNアーキテクチャを開発した。 本モデルの有効性は,全GNNをPeptides上で上回り,ZINC上の全GNNよりも12%,他のフラグメントバイアスモデルよりも34%低い誤差を有する合成および実世界のデータに対して示す。 さらに,本モデルでは,最新のトランスフォーマーアーキテクチャよりも優れた一般化能力を示し,分子モデリングタスクの堅牢な解として位置づけている。

関連論文リスト

• Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS [0.0]
  ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。 合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:16:33Z)
• FRGNN: Mitigating the Impact of Distribution Shift on Graph Neural Networks via Test-Time Feature Reconstruction [13.21683198528012]
  分散シフトはグラフニューラルネットワーク(GNN)のテスト性能に悪影響を及ぼす可能性がある 特徴再構成を行うための汎用フレームワークFR-GNNを提案する。 特に、再構成されたノード機能は、よく訓練されたモデルをテストするために直接利用することができる。
  論文  参考訳（メタデータ） (2023-08-18T02:34:37Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Image-Like Graph Representations for Improved Molecular Property Prediction [7.119677737397071]
  本稿では,CubeMol と呼ばれる GNN の必要性を完全に回避する,新しい固有分子表現法を提案する。 我々の定次元表現は、トランスモデルと組み合わせると、最先端のGNNモデルの性能を超え、拡張性を提供する。
  論文  参考訳（メタデータ） (2021-11-20T22:39:11Z)
• Improving Robustness of Graph Neural Networks with Heterophily-Inspired Designs [18.524164548051417]
  多くのグラフニューラルネットワーク(GNN)は、敵の攻撃に敏感であり、グラフ構造が意図的に乱れた場合、性能損失を被る可能性がある。 ノード特徴がホモフィリで、衝撃的な構造的攻撃が常にヘテロフィリのレベルを上昇させるという標準的なシナリオを示す。 我々は、(i)エゴエンベディングと(ii)アグリゲータの分離したアグリゲータ、および(ii)アグリゲーションの範囲を小さくすることで、GNNのロバスト性を大幅に向上させる2つの設計を提案する。
  論文  参考訳（メタデータ） (2021-06-14T21:39:36Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
  マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。 MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。 我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
  論文  参考訳（メタデータ） (2020-05-17T04:46:07Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。