論文の概要: GraphFM: A Scalable Framework for Multi-Graph Pretraining

• arxiv url: http://arxiv.org/abs/2407.11907v1
• Date: Tue, 16 Jul 2024 16:51:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 13:53:50.862331
• Title: GraphFM: A Scalable Framework for Multi-Graph Pretraining
• Title（参考訳）: GraphFM: マルチグラフ事前トレーニングのためのスケーラブルなフレームワーク
• Authors: Divyansha Lachi, Mehdi Azabou, Vinam Arora, Eva Dyer,
• Abstract要約: 本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
• 参考スコア（独自算出の注目度）: 2.882104808886318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks are typically trained on individual datasets, often requiring highly specialized models and extensive hyperparameter tuning. This dataset-specific approach arises because each graph dataset often has unique node features and diverse connectivity structures, making it difficult to build a generalist model. To address these challenges, we introduce a scalable multi-graph multi-task pretraining approach specifically tailored for node classification tasks across diverse graph datasets from different domains. Our method, Graph Foundation Model (GraphFM), leverages a Perceiver-based encoder that employs learned latent tokens to compress domain-specific features into a common latent space. This approach enhances the model's ability to generalize across different graphs and allows for scaling across diverse data. We demonstrate the efficacy of our approach by training a model on 152 different graph datasets comprising over 7.4 million nodes and 189 million edges, establishing the first set of scaling laws for multi-graph pretraining on datasets spanning many domains (e.g., molecules, citation and product graphs). Our results show that pretraining on a diverse array of real and synthetic graphs improves the model's adaptability and stability, while performing competitively with state-of-the-art specialist models. This work illustrates that multi-graph pretraining can significantly reduce the burden imposed by the current graph training paradigm, unlocking new capabilities for the field of graph neural networks by creating a single generalist model that performs competitively across a wide range of datasets and tasks.
• Abstract（参考訳）: グラフニューラルネットワークは通常、個々のデータセットに基づいてトレーニングされ、しばしば高度に専門化されたモデルと広範なハイパーパラメータチューニングを必要とする。 このデータセット固有のアプローチは、各グラフデータセットがユニークなノード特徴と多様な接続構造を持つことが多いため、一般的なモデルを構築するのが難しくなるため、生じる。 これらの課題に対処するため、我々は、さまざまな分野のグラフデータセットにまたがるノード分類タスクに特化して、スケーラブルなマルチグラフ・マルチタスク事前訓練手法を導入する。 提案手法であるGraph Foundation Model (GraphFM) は,学習された潜在トークンを用いて,ドメイン固有の特徴を共通の潜在空間に圧縮するPerceiverベースのエンコーダを利用する。 このアプローチは、モデルをさまざまなグラフにまたがって一般化する能力を高め、多様なデータにまたがるスケーリングを可能にします。 我々は,740万のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングし,多くのドメイン(分子,引用,製品グラフなど)にまたがるデータセット上で,マルチグラフ事前トレーニングを行うための最初のスケーリング法則を確立することにより,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。 この研究は、マルチグラフ事前トレーニングが、現在のグラフトレーニングパラダイムによって課される負担を大幅に削減し、広範囲のデータセットやタスクで競合する単一のジェネラリストモデルを作成することにより、グラフニューラルネットワーク分野の新機能を解放することを示している。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
  グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。 本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。 多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
  論文  参考訳（メタデータ） (2024-08-20T09:57:13Z)
• Cross-Domain Graph Data Scaling: A Showcase with Diffusion Models [32.46165651743604]
  拡散モデル上に構築された普遍グラフ構造拡張器UniAugを提案する。 まず、各領域にまたがる数千のグラフ上の離散拡散モデルを事前学習し、グラフ構造パターンを学習する。 下流相では,事前学習拡散モデルの助けを借りて,グラフ構造拡張を施すことにより適応的な拡張を提供する。
  論文  参考訳（メタデータ） (2024-06-04T02:04:09Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• GraphControl: Adding Conditional Control to Universal Graph Pre-trained Models for Graph Domain Transfer Learning [28.04023419006392]
  グラフ自己教師型アルゴリズムは、豊富なラベルのないグラフデータから一般的な知識を取得することに成功している。 類似しているように見える領域の異なるグラフは、属性のセマンティクスの点で大きく異なる。 我々は、より優れたグラフドメイン転送学習を実現するために、ComputerNetによってモチベーションを得たGraphControlと呼ばれる革新的なデプロイモジュールを導入する。
  論文  参考訳（メタデータ） (2023-10-11T10:30:49Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。