論文の概要: GraphFM: A Scalable Framework for Multi-Graph Pretraining
- arxiv url: http://arxiv.org/abs/2407.11907v1
- Date: Tue, 16 Jul 2024 16:51:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 13:53:50.862331
- Title: GraphFM: A Scalable Framework for Multi-Graph Pretraining
- Title（参考訳）: GraphFM: マルチグラフ事前トレーニングのためのスケーラブルなフレームワーク
- Authors: Divyansha Lachi, Mehdi Azabou, Vinam Arora, Eva Dyer,
- Abstract要約: 本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。
我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。
以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
- 参考スコア（独自算出の注目度）: 2.882104808886318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks are typically trained on individual datasets, often requiring highly specialized models and extensive hyperparameter tuning. This dataset-specific approach arises because each graph dataset often has unique node features and diverse connectivity structures, making it difficult to build a generalist model. To address these challenges, we introduce a scalable multi-graph multi-task pretraining approach specifically tailored for node classification tasks across diverse graph datasets from different domains. Our method, Graph Foundation Model (GraphFM), leverages a Perceiver-based encoder that employs learned latent tokens to compress domain-specific features into a common latent space. This approach enhances the model's ability to generalize across different graphs and allows for scaling across diverse data. We demonstrate the efficacy of our approach by training a model on 152 different graph datasets comprising over 7.4 million nodes and 189 million edges, establishing the first set of scaling laws for multi-graph pretraining on datasets spanning many domains (e.g., molecules, citation and product graphs). Our results show that pretraining on a diverse array of real and synthetic graphs improves the model's adaptability and stability, while performing competitively with state-of-the-art specialist models. This work illustrates that multi-graph pretraining can significantly reduce the burden imposed by the current graph training paradigm, unlocking new capabilities for the field of graph neural networks by creating a single generalist model that performs competitively across a wide range of datasets and tasks.
- Abstract（参考訳）: グラフニューラルネットワークは通常、個々のデータセットに基づいてトレーニングされ、しばしば高度に専門化されたモデルと広範なハイパーパラメータチューニングを必要とする。
このデータセット固有のアプローチは、各グラフデータセットがユニークなノード特徴と多様な接続構造を持つことが多いため、一般的なモデルを構築するのが難しくなるため、生じる。
これらの課題に対処するため、我々は、さまざまな分野のグラフデータセットにまたがるノード分類タスクに特化して、スケーラブルなマルチグラフ・マルチタスク事前訓練手法を導入する。
提案手法であるGraph Foundation Model (GraphFM) は,学習された潜在トークンを用いて,ドメイン固有の特徴を共通の潜在空間に圧縮するPerceiverベースのエンコーダを利用する。
このアプローチは、モデルをさまざまなグラフにまたがって一般化する能力を高め、多様なデータにまたがるスケーリングを可能にします。
我々は,740万のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングし,多くのドメイン(分子,引用,製品グラフなど)にまたがるデータセット上で,マルチグラフ事前トレーニングを行うための最初のスケーリング法則を確立することにより,このアプローチの有効性を実証する。
以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
この研究は、マルチグラフ事前トレーニングが、現在のグラフトレーニングパラダイムによって課される負担を大幅に削減し、広範囲のデータセットやタスクで競合する単一のジェネラリストモデルを作成することにより、グラフニューラルネットワーク分野の新機能を解放することを示している。
関連論文リスト
- Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。
このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。
また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文 参考訳（メタデータ） (2025-01-01T08:48:53Z) - Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。
グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。
その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
論文 参考訳（メタデータ） (2024-12-21T02:07:43Z) - One Model for One Graph: A New Perspective for Pretraining with Cross-domain Graphs [61.9759512646523]
複雑なネットワークパターンをキャプチャする強力なツールとして、グラフニューラルネットワーク(GNN)が登場した。
既存のGNNには、慎重にドメイン固有のアーキテクチャ設計と、データセットのスクラッチからのトレーニングが必要です。
我々は、新しいクロスドメイン事前学習フレームワーク「1つのグラフのための1つのモデル」を提案する。
論文 参考訳（メタデータ） (2024-11-30T01:49:45Z) - AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。
本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。
多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
論文 参考訳（メタデータ） (2024-08-20T09:57:13Z) - UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。
本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。
本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文 参考訳（メタデータ） (2024-02-21T09:06:31Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳（メタデータ） (2023-06-20T03:33:22Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳（メタデータ） (2023-04-06T01:09:36Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。