Fugu-MT 論文翻訳(概要): GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs

論文の概要: GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs

arxiv url: http://arxiv.org/abs/2410.10329v1
Date: Tue, 15 Oct 2024 08:45:35 GMT
ステータス: 処理完了
システム内更新日: 2024-10-29 22:14:39.867740
Title: GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs
Title（参考訳）: GraphCLIP: テキスト分散グラフのためのグラフ基盤モデルにおける転送性向上
Authors: Yun Zhu, Haizhou Shi, Xiaotang Wang, Yongchao Liu, Yaoke Wang, Boci Peng, Chuntao Hong, Siliang Tang,
Abstract要約: GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。 LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
参考スコア（独自算出の注目度）: 27.169892145194638
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, research on Text-Attributed Graphs (TAGs) has gained significant attention due to the prevalence of free-text node features in real-world applications and the advancements in Large Language Models (LLMs) that bolster TAG methodologies. However, current TAG approaches face two primary challenges: (i) Heavy reliance on label information and (ii) Limited cross-domain zero/few-shot transferability. These issues constrain the scaling of both data and model size, owing to high labor costs and scaling laws, complicating the development of graph foundation models with strong transferability. In this work, we propose the GraphCLIP framework to address these challenges by learning graph foundation models with strong cross-domain zero/few-shot transferability through a self-supervised contrastive graph-summary pretraining method. Specifically, we generate and curate large-scale graph-summary pair data with the assistance of LLMs, and introduce a novel graph-summary pretraining method, combined with invariant learning, to enhance graph foundation models with strong cross-domain zero-shot transferability. For few-shot learning, we propose a novel graph prompt tuning technique aligned with our pretraining objective to mitigate catastrophic forgetting and minimize learning costs. Extensive experiments show the superiority of GraphCLIP in both zero-shot and few-shot settings, while evaluations across various downstream tasks confirm the versatility of GraphCLIP. Our code is available at: https://github.com/ZhuYun97/GraphCLIP
Abstract（参考訳）: 近年,TAG(Text-Attributed Graphs)の研究が注目されているのは,リアルタイムアプリケーションにおける自由テキストノード機能の普及と,TAG手法を活性化するLarge Language Models(LLMs)の進歩である。しかし、現在のTAGアプローチは2つの主要な課題に直面している。一ラベル情報及びラベル情報に大きく依存すること (ii)クロスドメインゼロ/フェーショット転送可能性の制限。これらの問題は、高い労働コストとスケーリング法則により、データとモデルサイズの両方のスケーリングを制限し、強力な転送可能性を持つグラフ基盤モデルの開発を複雑化する。本研究では,この課題に対処するためのグラフCLIPフレームワークを提案する。具体的には、LLMの助けを借りて大規模グラフ-土木ペアデータを生成し、キュレートし、不変学習と組み合わせてグラフ-土木予備訓練法を導入し、強力なクロスドメインゼロショット転送可能性を持つグラフ基盤モデルを強化する。数ショットの学習において,大惨な忘れを軽減し,学習コストを最小限に抑えるために,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。大規模な実験では、ゼロショットと少数ショットの両方の設定においてGraphCLIPの優位性を示す一方、さまざまな下流タスクに対する評価では、GraphCLIPの汎用性が確認されている。私たちのコードは、https://github.com/ZhuYun97/GraphCLIPで利用可能です。

関連論文リスト

A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
論文参考訳（メタデータ） (2024-03-02T08:05:03Z)
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文参考訳（メタデータ） (2024-02-21T09:06:31Z)
ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs [36.749959232724514]
ZeroGは、クロスデータセットの一般化を可能にするために設計された新しいフレームワークである。特徴の不整合、ラベル空間の整合、負の移動といった、固有の課題に対処する。本稿では,抽出したサブグラフの意味情報と構造情報を豊かにするための,プロンプトベースのサブグラフサンプリングモジュールを提案する。
論文参考訳（メタデータ） (2024-02-17T09:52:43Z)
GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文参考訳（メタデータ） (2023-10-19T06:17:46Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文参考訳（メタデータ） (2023-02-27T22:56:06Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文参考訳（メタデータ） (2022-01-17T11:57:29Z)
Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
論文参考訳（メタデータ） (2022-01-04T15:49:18Z)
Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
論文参考訳（メタデータ） (2020-09-22T01:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。