Fugu-MT 論文翻訳(概要): Learning Cross-Task Generalities Across Graphs via Task-trees

論文の概要: Learning Cross-Task Generalities Across Graphs via Task-trees

arxiv url: http://arxiv.org/abs/2412.16441v1
Date: Sat, 21 Dec 2024 02:07:43 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:52:39.239608
Title: Learning Cross-Task Generalities Across Graphs via Task-trees
Title（参考訳）: タスクツリーによるグラフ間のクロスタスクの一般性学習
Authors: Zehong Wang, Zheyuan Zhang, Tianyi Ma, Nitesh V Chawla, Chuxu Zhang, Yanfang Ye,
Abstract要約: 本稿では,タスクツリーを用いたグラフ間の一般性学習手法を提案する。具体的には、まず、グラフの基本学習インスタンスをタスクツリーとして定義し、グラフ間で共有される一般性は、少なくとも部分的には、与えられたグラフのタスクツリーに保存されていると仮定する。グラフニューラルネットワーク(GNN)モデルが再構成タスクを通じて多様なタスクツリー上で事前訓練されている場合、下流タスクに対して十分な伝達可能な知識を学習できることがわかった。
参考スコア（独自算出の注目度）: 50.78679002846741
License:
Abstract: Foundation models aim to create general, cross-task, and cross-domain machine learning models by pretraining on large-scale datasets to capture shared patterns or concepts (generalities), such as contours, colors, textures, and edges in images, or tokens, words, and sentences in text. However, discovering generalities across graphs remains challenging, which has hindered the development of graph foundation models. To tackle this challenge, in this paper, we propose a novel approach to learn generalities across graphs via task-trees. Specifically, we first define the basic learning instances in graphs as task-trees and assume that the generalities shared across graphs are, at least partially, preserved in the task-trees of the given graphs. To validate the assumption, we first perform a theoretical analysis of task-trees in terms of stability, transferability, and generalization. We find that if a graph neural network (GNN) model is pretrained on diverse task-trees through a reconstruction task, it can learn sufficient transferable knowledge for downstream tasks using an appropriate set of fine-tuning samples. To empirically validate the assumption, we further instantiate the theorems by developing a cross-task, cross-domain graph foundation model named Graph generality Identifier on task-Trees (GIT). The extensive experiments over 30 graphs from five domains demonstrate the effectiveness of GIT in fine-tuning, in-context learning, and zero-shot learning scenarios. Particularly, the general GIT model pretrained on large-scale datasets can be quickly adapted to specific domains, matching or even surpassing expert models designed for those domains. Our data and code are available at https://github.com/Zehong-Wang/GIT.
Abstract（参考訳）: ファンデーションモデルは、画像の輪郭、色、テクスチャ、エッジ、トークン、単語、文章などの共有パターンや概念(一般)をテキストでキャプチャするために、大規模なデータセットを事前訓練することで、汎用、クロスタスク、クロスドメイン機械学習モデルを作成することを目的としている。しかし、グラフ全体の一般性を発見することは依然として困難であり、グラフ基盤モデルの開発を妨げている。そこで本研究では,タスクツリーを用いたグラフ間の一般性学習手法を提案する。具体的には、まず、グラフの基本学習インスタンスをタスクツリーとして定義し、グラフ間で共有される一般性は、少なくとも部分的には、与えられたグラフのタスクツリーに保存されていると仮定する。この仮定を検証するために、我々はまず、安定性、伝達可能性、一般化の観点からタスクツリーの理論解析を行う。グラフニューラルネットワーク(GNN)モデルが再構成タスクを通じて多様なタスクツリー上で事前訓練されている場合、適切な微調整サンプルセットを用いて下流タスクに対する十分な伝達可能な知識を学習できることが判明した。この仮定を実証的に検証するために、タスク・トレー(GIT)上のグラフ一般性同定法(Graph Generality Identifier)と呼ばれるクロスタスク・クロスドメイングラフ基盤モデルを開発することにより、定理をさらにインスタンス化する。 5つの領域の30以上のグラフに対する広範な実験は、微調整、コンテキスト内学習、ゼロショット学習シナリオにおけるGITの有効性を実証している。特に、大規模なデータセットで事前訓練された一般的なGITモデルは、特定のドメインに迅速に適応できる。私たちのデータとコードはhttps://github.com/Zehong-Wang/GIT.comで公開されています。

関連論文リスト

RAGraph: A General Retrieval-Augmented Graph Learning Framework [35.25522856244149]
我々は、RAGraph(General Retrieval-Augmented Graph Learning)と呼ばれる新しいフレームワークを紹介する。 RAGraphは、一般的なグラフ基盤モデルに外部グラフデータを導入し、目に見えないシナリオにおけるモデルの一般化を改善する。推論中、RAGraphは下流タスクにおける重要な類似性に基づいて、似たようなおもちゃのグラフを順応的に検索する。
論文参考訳（メタデータ） (2024-10-31T12:05:21Z)
Exploring Task Unification in Graph Representation Learning via Generative Approach [12.983429541410617]
グラフは現実世界のシナリオにおいてユビキタスであり、ノードレベル、エッジレベル、グラフレベルのタスクから移行学習まで、さまざまなタスクを含んでいる。最近の取り組みは、複数のグラフタスクをまたいで一般化できる統一されたフレームワークを設計することを目的としている。これらのうち、グラフオートエンコーダ(GAE)は、様々なグラフタスクに効果的に対処する可能性を示している。本稿では,これらの課題にシームレスに対処可能な,対向マスク型オートエンコーダであるGA2Eを提案する。
論文参考訳（メタデータ） (2024-03-21T12:14:02Z)
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文参考訳（メタデータ） (2024-02-21T09:06:31Z)
One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文参考訳（メタデータ） (2023-09-29T21:15:26Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文参考訳（メタデータ） (2023-06-20T03:33:22Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。