論文の概要: GFT: Graph Foundation Model with Transferable Tree Vocabulary
- arxiv url: http://arxiv.org/abs/2411.06070v1
- Date: Sat, 09 Nov 2024 05:14:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:10:54.628010
- Title: GFT: Graph Foundation Model with Transferable Tree Vocabulary
- Title（参考訳）: GFT:伝達可能な木語彙を持つグラフ基礎モデル
- Authors: Zehong Wang, Zheyuan Zhang, Nitesh V Chawla, Chuxu Zhang, Yanfang Ye,
- Abstract要約: 本稿では,木語彙を伝達可能なグラフファウンデーションモデルとして,GFTと命名されたクロスタスク・クロスドメイングラフ基盤モデルを提案する。
変換可能な語彙内で計算木をトークンとして扱うことにより、GFTはモデルの一般化を改善し、負の転送のリスクを低減する。
理論解析と広範な実験的研究により,グラフ学習におけるGFTの有効性が実証され,様々なタスクや領域にまたがるGFTの有効性が示された。
- 参考スコア（独自算出の注目度）: 52.17804507458509
- License:
- Abstract: Inspired by the success of foundation models in applications such as ChatGPT, as graph data has been ubiquitous, one can envision the far-reaching impacts that can be brought by Graph Foundation Models (GFMs) with broader applications in the areas such as scientific research, social network analysis, drug discovery, and e-commerce. Despite the significant progress of pre-trained graph neural networks, there haven't been GFMs that can achieve desired performance on various graph-learning-related tasks. Building GFMs may rely on a vocabulary that encodes transferable patterns shared among different tasks and domains. Unlike image and text, defining such transferable patterns for graphs remains an open question. In this paper, we aim to bridge this gap by rethinking the transferable patterns on graphs as computation trees -- i.e., tree structures derived from the message-passing process. Based on this insight, we propose a cross-task, cross-domain graph foundation model named GFT, short for Graph Foundation model with transferable Tree vocabulary. By treating computation trees as tokens within the transferable vocabulary, GFT improves model generalization and reduces the risk of negative transfer. The theoretical analyses and extensive experimental studies have demonstrated the transferability of computation trees and shown the effectiveness of GFT across diverse tasks and domains in graph learning. The open source code and data are available at https://github.com/Zehong-Wang/GFT.
- Abstract（参考訳）: ChatGPTのようなアプリケーションにおける基礎モデルの成功に触発されて、グラフデータがユビキタスであったため、科学研究、ソーシャルネットワーク分析、薬物発見、電子商取引などの分野で広く応用されるグラフ基礎モデル(GFM)によってもたらされる、広範囲にわたる影響を想像することができる。
事前トレーニングされたグラフニューラルネットワークの大幅な進歩にもかかわらず、さまざまなグラフ学習関連タスクで望ましいパフォーマンスを達成できるGFMは存在しない。
GFMの構築は、異なるタスクやドメイン間で共有される転送可能なパターンをエンコードする語彙に依存する可能性がある。
画像やテキストとは異なり、グラフに対してそのような転送可能なパターンを定義することは、未解決の問題である。
本稿では,グラフ上の伝達可能なパターンを計算木として再考することにより,このギャップを埋めることを目的とする。
この知見に基づいて,木語彙を伝達可能なグラフファウンデーションモデルとして,GFTと命名されたクロスタスク・クロスドメイングラフ基盤モデルを提案する。
変換可能な語彙内で計算木をトークンとして扱うことにより、GFTはモデルの一般化を改善し、負の転送のリスクを低減する。
理論解析と広範な実験的研究により,グラフ学習におけるGFTの有効性が実証され,様々なタスクや領域にまたがるGFTの有効性が示された。
オープンソースコードとデータはhttps://github.com/Zehong-Wang/GFTで公開されている。
関連論文リスト
- Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。
この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
論文 参考訳（メタデータ） (2024-08-26T06:36:42Z) - UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。
本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。
本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文 参考訳（メタデータ） (2024-02-21T09:06:31Z) - Position: Graph Foundation Models are Already Here [53.737868336014735]
グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。
グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。
この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
論文 参考訳（メタデータ） (2024-02-03T17:24:36Z) - You Only Transfer What You Share: Intersection-Induced Graph Transfer
Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。
より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。
この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文 参考訳（メタデータ） (2023-02-27T22:56:06Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Source Free Unsupervised Graph Domain Adaptation [60.901775859601685]
Unsupervised Graph Domain Adaptation (UGDA) はノード分類のラベル付けコストを削減するための実用的価値を示している。
既存のUGDAメソッドの多くは、ソースドメインのラベル付きグラフに大きく依存している。
現実のシナリオでは、ソースグラフはプライバシーの問題のためにアクセスできない。
我々は、Source Free Unsupervised Graph Domain Adaptation (SFUGDA) という新しいシナリオを提案する。
論文 参考訳（メタデータ） (2021-12-02T03:18:18Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - Differentiable Graph Module (DGM) for Graph Convolutional Networks [44.26665239213658]
Differentiable Graph Module (DGM) は、下流タスクに最適なグラフのエッジ確率を予測する学習可能な関数である。
医療分野(退院予測)、脳画像(年齢予測)、コンピュータグラフィックス(3Dポイントクラウドセグメンテーション)、コンピュータビジョン(ゼロショット学習)の応用を幅広く評価する。
論文 参考訳（メタデータ） (2020-02-11T12:59:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。