論文の概要: A Graph Laplacian Eigenvector-based Pre-training Method for Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2509.02803v2
- Date: Sat, 11 Oct 2025 20:30:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 15:48:09.325908
- Title: A Graph Laplacian Eigenvector-based Pre-training Method for Graph Neural Networks
- Title(参考訳): グラフニューラルネットワークのためのグラフラプラシアン固有ベクトルに基づく事前学習法
- Authors: Howard Dai, Nyambura Njenga, Hiren Madhu, Siddharth Viswanath, Ryan Pellico, Ian Adelstein, Smita Krishnaswamy,
- Abstract要約: 構造に基づく事前学習手法は、基礎となるグラフ構造に依存した下流アプリケーションには不十分だが不可欠である。
グラフラプラシアンの低周波固有ベクトルの予測に基づくグラフニューラルネットワーク(GNN)のための新しい事前学習モジュールであるラプラシア固有ベクトル学習モジュール(LELM)を提案する。
LELMはオーバースムーシングを克服する新しいアーキテクチャを導入し、GNNモデルが長距離相互依存性を学習できるようにする。
- 参考スコア(独自算出の注目度): 7.359145401513628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of self-supervised graph pre-training methods is a crucial ingredient in recent efforts to design robust graph foundation models (GFMs). Structure-based pre-training methods are under-explored yet crucial for downstream applications which rely on underlying graph structure. In addition, pre-training traditional message passing GNNs to capture global and regional structure is often challenging due to the risk of oversmoothing as network depth increases. We address these gaps by proposing the Laplacian Eigenvector Learning Module (LELM), a novel pre-training module for graph neural networks (GNNs) based on predicting the low-frequency eigenvectors of the graph Laplacian. Moreover, LELM introduces a novel architecture that overcomes oversmoothing, allowing the GNN model to learn long-range interdependencies. Empirically, we show that models pre-trained via our framework outperform baseline models on downstream molecular property prediction tasks.
- Abstract(参考訳): 自己教師付きグラフ事前学習法の開発は、堅牢なグラフ基盤モデル(GFM)を設計するための最近の取り組みにおいて重要な要素である。
構造に基づく事前学習手法は、基礎となるグラフ構造に依存した下流アプリケーションには不十分だが不可欠である。
さらに,ネットワーク深度の増加に伴う過密化のリスクから,グローバルおよび地域構造を捉えるために,従来型のメッセージパッシングGNNを事前訓練することは,しばしば困難である。
グラフニューラルネットワーク(GNN)のための新しい事前学習モジュールであるLaplacian Eigenvector Learning Module (LELM)を提案することで,これらのギャップに対処する。
さらに、LELMはオーバースムーシングを克服する新しいアーキテクチャを導入し、GNNモデルが長距離相互依存性を学習できるようにする。
実験により, 下流の分子特性予測タスクにおいて, ベースラインモデルよりも優れた精度で事前学習されたモデルを示す。
関連論文リスト
- Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
タスクツリーを用いたグラフのクロスタスク一般化のための新しい手法を提案する。
本稿では,グラフニューラルネットワーク(GNN)を多種多様なタスクツリー上で事前学習することにより,伝達可能な知識を誘導することを示す。
これにより、最小限の微調整で下流タスクに効率的に適応できる。
論文 参考訳(メタデータ) (2024-12-21T02:07:43Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Semantic Graph Neural Network with Multi-measure Learning for
Semi-supervised Classification [5.000404730573809]
近年,グラフニューラルネットワーク(GNN)が注目されている。
近年の研究では、GNNはグラフの複雑な基盤構造に弱いことが示されている。
半教師付き分類のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-04T06:17:11Z) - Towards Better Generalization with Flexible Representation of
Multi-Module Graph Neural Networks [0.27195102129094995]
ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。
本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。
集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-14T12:13:59Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳(メタデータ) (2021-12-14T14:48:08Z) - Representation Learning of Reconstructed Graphs Using Random Walk Graph
Convolutional Network [12.008472517000651]
グラフのノード特異的なメソスコピック構造を得るためにランダムウォークを利用する新しいフレームワークであるwGCNを提案する。
高次局所構造情報を組み合わせることで、ネットワークの可能性をより効率的に探究できると信じている。
論文 参考訳(メタデータ) (2021-01-02T10:31:14Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳(メタデータ) (2020-11-14T11:09:51Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。