論文の概要: Pushing the Limits of All-Atom Geometric Graph Neural Networks: Pre-Training, Scaling and Zero-Shot Transfer

• arxiv url: http://arxiv.org/abs/2410.21683v1
• Date: Tue, 29 Oct 2024 03:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:08.125161
• Title: Pushing the Limits of All-Atom Geometric Graph Neural Networks: Pre-Training, Scaling and Zero-Shot Transfer
• Title（参考訳）: 全原子幾何グラフニューラルネットワークの限界を押し上げる:事前学習,スケーリング,ゼロショット転送
• Authors: Zihan Pengmei, Zhengyuan Shen, Zichen Wang, Marcus Collins, Huzefa Rangwala,
• Abstract要約: 全原子情報を持つ幾何学グラフニューラルネットワーク(Geom-GNN)は、原子論シミュレーションを変換した。 本研究では,Geom-GNNの自己教師付き事前学習,教師付き学習,教師なし学習環境におけるスケーリング行動について検討する。 我々は、全ての原子グラフの埋め込みが他の神経アーキテクチャと有機的に組み合わされ、表現力を高めることができることを示す。
• 参考スコア（独自算出の注目度）: 15.302727191576784
• License:
• Abstract: Constructing transferable descriptors for conformation representation of molecular and biological systems finds numerous applications in drug discovery, learning-based molecular dynamics, and protein mechanism analysis. Geometric graph neural networks (Geom-GNNs) with all-atom information have transformed atomistic simulations by serving as a general learnable geometric descriptors for downstream tasks including prediction of interatomic potential and molecular properties. However, common practices involve supervising Geom-GNNs on specific downstream tasks, which suffer from the lack of high-quality data and inaccurate labels leading to poor generalization and performance degradation on out-of-distribution (OOD) scenarios. In this work, we explored the possibility of using pre-trained Geom-GNNs as transferable and highly effective geometric descriptors for improved generalization. To explore their representation power, we studied the scaling behaviors of Geom-GNNs under self-supervised pre-training, supervised and unsupervised learning setups. We find that the expressive power of different architectures can differ on the pre-training task. Interestingly, Geom-GNNs do not follow the power-law scaling on the pre-training task, and universally lack predictable scaling behavior on the supervised tasks with quantum chemical labels important for screening and design of novel molecules. More importantly, we demonstrate how all-atom graph embedding can be organically combined with other neural architectures to enhance the expressive power. Meanwhile, the low-dimensional projection of the latent space shows excellent agreement with conventional geometrical descriptors.
• Abstract（参考訳）: 分子および生物学的システムのコンフォメーション表現のための転写可能な記述子を構築することは、薬物発見、学習に基づく分子動力学、タンパク質機構解析に多くの応用を見出した。 全原子情報を持つ幾何学グラフニューラルネットワーク(Geom-GNN)は、原子間ポテンシャルと分子特性の予測を含む下流タスクのための一般的な学習可能な幾何学的記述子として機能することで、原子シミュレーションを変容させた。 しかし、一般的なプラクティスは、高品質なデータや不正確なラベルの欠如に悩まされ、アウト・オブ・ディストリビューション(OOD)のシナリオにおける一般化とパフォーマンスの低下につながる、特定の下流タスクでGeom-GNNを監督することである。 本研究では,事前学習したGeom-GNNを転送可能かつ高効率な幾何記述子として利用して一般化を向上する可能性について検討した。 そこで我々は,Geom-GNNの自己指導型事前学習,教師なし,教師なしの学習環境下でのスケーリング行動について検討した。 異なるアーキテクチャの表現力は、事前学習のタスクによって異なる可能性がある。 興味深いことに、Geom-GNNは、事前学習タスクにおけるパワーロースケーリングに従わず、新しい分子のスクリーニングと設計に重要な量子化学ラベルを持つ教師タスクにおける予測可能なスケーリングの振る舞いを普遍的に欠いている。 さらに重要なことは、全ての原子グラフの埋め込みが、表現力を高めるために、他の神経アーキテクチャと有機的に組み合わせられるかを示すことである。 一方、潜在空間の低次元射影は、従来の幾何学的記述子とよく一致している。

関連論文リスト

• Graph Neural Networks Uncover Geometric Neural Representations in Reinforcement-Based Motor Learning [3.379988469252273]
  グラフニューラルネットワーク(GNN)は、脳波データにおける神経表現の幾何学的性質を捉えることができる。 強化型運動学習が運動計画中の神経活動パターンに与える影響について検討した。
  論文  参考訳（メタデータ） (2024-10-31T10:54:50Z)
• geom2vec: pretrained GNNs as geometric featurizers for conformational dynamics [0.0]
  我々はGeom2vecを紹介し、トレーニング済みグラフニューラルネットワーク(GNN)を普遍的なデファクトライザとして利用する。 さらに微調整することなく分子幾何学的パターンを捉えた伝達可能な構造表現を学習する。
  論文  参考訳（メタデータ） (2024-09-30T00:36:06Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Graph neural networks for the prediction of molecular structure-property relationships [59.11160990637615]
  グラフニューラルネットワーク(GNN)は、分子グラフ上で直接動作する新しい機械学習手法である。 GNNは、エンドツーエンドでプロパティを学習できるため、情報記述子の必要性を回避することができる。 本稿では、分子特性予測のための2つの例を通して、GNNの基礎を説明し、GNNの応用を実証する。
  論文  参考訳（メタデータ） (2022-07-25T11:30:44Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Spiking Graph Convolutional Networks [19.36064180392385]
  SpikingGCNは、GCNの埋め込みとSNNの生体忠実性特性を統合することを目的としたエンドツーエンドフレームワークである。 ニューロモルフィックチップ上でのスパイキングGCNは、グラフデータ解析にエネルギー効率の明確な利点をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-05T16:44:36Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• GeomGCL: Geometric Graph Contrastive Learning for Molecular Property Prediction [47.70253904390288]
  本研究では2次元および3次元ビューにまたがる分子の幾何を利用した新しいグラフコントラスト学習法を提案する。 具体的には、分子の2次元グラフと3次元グラフの両方のリッチな情報を適応的に活用するために、2次元幾何学的メッセージパッシングネットワーク(GeomMPNN)を考案する。
  論文  参考訳（メタデータ） (2021-09-24T03:55:27Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Distance-aware Molecule Graph Attention Network for Drug-Target Binding Affinity Prediction [54.93890176891602]
  薬物標的結合親和性予測に適したDiStance-aware Molecule graph Attention Network (S-MAN)を提案する。 そこで,我々はまず,構築したポケットリガンドグラフに位相構造と空間位置情報を統合する位置符号化機構を提案する。 また,エッジレベルアグリゲーションとノードレベルアグリゲーションを有するエッジノード階層的アグリゲーション構造を提案する。
  論文  参考訳（メタデータ） (2020-12-17T17:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。