論文の概要: GFT: Graph Foundation Model with Transferable Tree Vocabulary
- arxiv url: http://arxiv.org/abs/2411.06070v1
- Date: Sat, 09 Nov 2024 05:14:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:10:54.628010
- Title: GFT: Graph Foundation Model with Transferable Tree Vocabulary
- Title（参考訳）: GFT:伝達可能な木語彙を持つグラフ基礎モデル
- Authors: Zehong Wang, Zheyuan Zhang, Nitesh V Chawla, Chuxu Zhang, Yanfang Ye,
- Abstract要約: 本稿では,木語彙を伝達可能なグラフファウンデーションモデルとして,GFTと命名されたクロスタスク・クロスドメイングラフ基盤モデルを提案する。
変換可能な語彙内で計算木をトークンとして扱うことにより、GFTはモデルの一般化を改善し、負の転送のリスクを低減する。
理論解析と広範な実験的研究により,グラフ学習におけるGFTの有効性が実証され,様々なタスクや領域にまたがるGFTの有効性が示された。
- 参考スコア（独自算出の注目度）: 52.17804507458509
- License:
- Abstract: Inspired by the success of foundation models in applications such as ChatGPT, as graph data has been ubiquitous, one can envision the far-reaching impacts that can be brought by Graph Foundation Models (GFMs) with broader applications in the areas such as scientific research, social network analysis, drug discovery, and e-commerce. Despite the significant progress of pre-trained graph neural networks, there haven't been GFMs that can achieve desired performance on various graph-learning-related tasks. Building GFMs may rely on a vocabulary that encodes transferable patterns shared among different tasks and domains. Unlike image and text, defining such transferable patterns for graphs remains an open question. In this paper, we aim to bridge this gap by rethinking the transferable patterns on graphs as computation trees -- i.e., tree structures derived from the message-passing process. Based on this insight, we propose a cross-task, cross-domain graph foundation model named GFT, short for Graph Foundation model with transferable Tree vocabulary. By treating computation trees as tokens within the transferable vocabulary, GFT improves model generalization and reduces the risk of negative transfer. The theoretical analyses and extensive experimental studies have demonstrated the transferability of computation trees and shown the effectiveness of GFT across diverse tasks and domains in graph learning. The open source code and data are available at https://github.com/Zehong-Wang/GFT.
- Abstract（参考訳）: ChatGPTのようなアプリケーションにおける基礎モデルの成功に触発されて、グラフデータがユビキタスであったため、科学研究、ソーシャルネットワーク分析、薬物発見、電子商取引などの分野で広く応用されるグラフ基礎モデル(GFM)によってもたらされる、広範囲にわたる影響を想像することができる。
事前トレーニングされたグラフニューラルネットワークの大幅な進歩にもかかわらず、さまざまなグラフ学習関連タスクで望ましいパフォーマンスを達成できるGFMは存在しない。
GFMの構築は、異なるタスクやドメイン間で共有される転送可能なパターンをエンコードする語彙に依存する可能性がある。
画像やテキストとは異なり、グラフに対してそのような転送可能なパターンを定義することは、未解決の問題である。
本稿では,グラフ上の伝達可能なパターンを計算木として再考することにより,このギャップを埋めることを目的とする。
この知見に基づいて,木語彙を伝達可能なグラフファウンデーションモデルとして,GFTと命名されたクロスタスク・クロスドメイングラフ基盤モデルを提案する。
変換可能な語彙内で計算木をトークンとして扱うことにより、GFTはモデルの一般化を改善し、負の転送のリスクを低減する。
理論解析と広範な実験的研究により,グラフ学習におけるGFTの有効性が実証され,様々なタスクや領域にまたがるGFTの有効性が示された。
オープンソースコードとデータはhttps://github.com/Zehong-Wang/GFTで公開されている。
関連論文リスト
- Unified Graph Networks (UGN): A Deep Neural Framework for Solving Graph Problems [0.5699788926464752]
グラフ問題を解くために,emphUnified emphGraph emphNetwork (UGN) という新しいフレームワークを提案する。
UGNはグラフ畳み込みニューラルネットワーク(GCN)と2次元畳み込みニューラルネットワーク(Conv2D)に基づいている
論文 参考訳（メタデータ） (2025-02-11T12:03:18Z) - Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。
このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。
また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文 参考訳（メタデータ） (2025-01-01T08:48:53Z) - Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。
グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。
その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
論文 参考訳（メタデータ） (2024-12-21T02:07:43Z) - Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。
この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
論文 参考訳（メタデータ） (2024-08-26T06:36:42Z) - Position: Graph Foundation Models are Already Here [53.737868336014735]
グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。
グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。
この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
論文 参考訳（メタデータ） (2024-02-03T17:24:36Z) - You Only Transfer What You Share: Intersection-Induced Graph Transfer
Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。
より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。
この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文 参考訳（メタデータ） (2023-02-27T22:56:06Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。