論文の概要: Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees

• arxiv url: http://arxiv.org/abs/2412.16441v2
• Date: Thu, 30 Jan 2025 20:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:23.635854
• Title: Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees
• Title（参考訳）: グラフ基礎モデルに向けて - Task-Treesによるグラフ間の一般性学習
• Authors: Zehong Wang, Zheyuan Zhang, Tianyi Ma, Nitesh V Chawla, Chuxu Zhang, Yanfang Ye,
• Abstract要約: グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
• 参考スコア（独自算出の注目度）: 50.78679002846741
• License:
• Abstract: Foundation models aim to create general, cross-task, and cross-domain machine learning models by pretraining on large-scale datasets to capture shared patterns or concepts, such as contours, colors, textures, and edges in images, or tokens, words, and sentences in text. However, identifying generalities across graph-structured data remains a significant challenge, as different graph-based tasks necessitate distinct inductive biases, thereby impeding the development of graph foundation models. To address this challenge, we introduce a novel approach for learning cross-task generalities in graphs. Specifically, we propose task-trees as basic learning instances to align task spaces (node, link, graph) on graphs. Then, we conduct a theoretical analysis to examine their stability, transferability, and generalization. Our findings indicate that when a graph neural network (GNN) is pretrained on diverse task-trees using a reconstruction objective, it acquires transferable knowledge, enabling effective adaptation to downstream tasks with an appropriate set of fine-tuning samples. To empirically validate this approach, we develop a pretrained graph model based on task-trees, termed Graph Generality Identifier on Task-Trees (GIT). Extensive experiments demonstrate that a single pretrained GIT model can be effectively adapted to over 30 different graphs across five domains via fine-tuning, in-context learning, or zero-shot learning. Our data and code are available at https://github.com/Zehong-Wang/GIT.
• Abstract（参考訳）: ファンデーションモデルは、画像の輪郭、色、テクスチャ、エッジ、トークン、単語、文章などの共有パターンやコンセプトをテキストでキャプチャするために、大規模なデータセットを事前訓練することで、一般的な、クロスタスク、クロスドメイン機械学習モデルを作成することを目的としている。 しかし、グラフベースのタスクが異なる帰納的バイアスを必要とし、グラフ基盤モデルの開発を妨げるため、グラフ構造化データ全体の一般性を特定することは大きな課題である。 この課題に対処するために、グラフにおけるクロスタスクの一般性を学ぶための新しいアプローチを導入する。 具体的には、グラフ上のタスク空間(ノード、リンク、グラフ)をアライメントするための基本的な学習インスタンスとしてタスクツリーを提案する。 そして, 理論解析を行い, その安定性, 伝達性, 一般化について検討する。 その結果,グラフニューラルネットワーク (GNN) が再構成目的を用いて多様なタスクツリー上で事前訓練された場合, 伝達可能な知識を取得し, 適切な微調整サンプルを用いて下流タスクへの効果的な適応を可能にすることが示唆された。 提案手法を実証的に検証するために,タスクツリーに基づく事前学習グラフモデルを開発した。 大規模な実験により、単一の事前訓練されたGITモデルが、微調整、文脈内学習、ゼロショット学習によって、5つの領域にわたる30以上の異なるグラフに効果的に適応できることが示されている。 私たちのデータとコードはhttps://github.com/Zehong-Wang/GIT.comで公開されています。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• RAGraph: A General Retrieval-Augmented Graph Learning Framework [35.25522856244149]
  我々は、RAGraph(General Retrieval-Augmented Graph Learning)と呼ばれる新しいフレームワークを紹介する。 RAGraphは、一般的なグラフ基盤モデルに外部グラフデータを導入し、目に見えないシナリオにおけるモデルの一般化を改善する。 推論中、RAGraphは下流タスクにおける重要な類似性に基づいて、似たようなおもちゃのグラフを順応的に検索する。
  論文  参考訳（メタデータ） (2024-10-31T12:05:21Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。