論文の概要: ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs

• arxiv url: http://arxiv.org/abs/2402.11235v2
• Date: Mon, 24 Jun 2024 03:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:01:18.132610
• Title: ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs
• Title（参考訳）: ZeroG: グラフにおけるデータセット間のゼロショット転送可能性の調査
• Authors: Yuhan Li, Peisong Wang, Zhixun Li, Jeffrey Xu Yu, Jia Li,
• Abstract要約: ZeroGは、クロスデータセットの一般化を可能にするために設計された新しいフレームワークである。 特徴の不整合、ラベル空間の整合、負の移動といった、固有の課題に対処する。 本稿では,抽出したサブグラフの意味情報と構造情報を豊かにするための,プロンプトベースのサブグラフサンプリングモジュールを提案する。
• 参考スコア（独自算出の注目度）: 36.749959232724514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of foundation models such as large language models, zero-shot transfer learning has become increasingly significant. This is highlighted by the generative capabilities of NLP models like GPT-4, and the retrieval-based approaches of CV models like CLIP, both of which effectively bridge the gap between seen and unseen data. In the realm of graph learning, the continuous emergence of new graphs and the challenges of human labeling also amplify the necessity for zero-shot transfer learning, driving the exploration of approaches that can generalize across diverse graph data without necessitating dataset-specific and label-specific fine-tuning. In this study, we extend such paradigms to zero-shot transferability in graphs by introducing ZeroG, a new framework tailored to enable cross-dataset generalization. Addressing the inherent challenges such as feature misalignment, mismatched label spaces, and negative transfer, we leverage a language model to encode both node attributes and class semantics, ensuring consistent feature dimensions across datasets. We also propose a prompt-based subgraph sampling module that enriches the semantic information and structure information of extracted subgraphs using prompting nodes and neighborhood aggregation, respectively. We further adopt a lightweight fine-tuning strategy that reduces the risk of overfitting and maintains the zero-shot learning efficacy of the language model. The results underscore the effectiveness of our model in achieving significant cross-dataset zero-shot transferability, opening pathways for the development of graph foundation models. Codes and data are available at https://github.com/NineAbyss/ZeroG.
• Abstract（参考訳）: 大規模言語モデルのような基礎モデルの開発に伴い、ゼロショット転送学習はますます重要になっている。 これは、GPT-4のようなNLPモデルの生成能力と、CLIPのようなCVモデルの検索ベースのアプローチによって強調される。 グラフ学習の領域では、新しいグラフの継続的な出現と人間のラベル付けの課題は、ゼロショット転送学習の必要性を増幅し、データセット固有の微調整やラベル固有の微調整を必要とせずに、多様なグラフデータにまたがる一般化可能なアプローチの探索を促進する。 本研究では,このようなパラダイムを,クロスデータセットの一般化を実現するための新たなフレームワークであるZeroGを導入することにより,グラフのゼロショット転送可能性に拡張する。 特徴のミスアライメント、ラベル空間のミスマッチ、負の移動といった固有の課題に対処するため、我々は言語モデルを利用してノード属性とクラスセマンティクスの両方を符号化し、データセット間で一貫した特徴次元を確保する。 また,プロンプトノードと近傍アグリゲーションを用いて抽出したサブグラフの意味情報と構造情報を強化するプロンプトベースのサブグラフサンプリングモジュールを提案する。 さらに、オーバーフィットのリスクを低減し、言語モデルのゼロショット学習効果を維持する軽量な微調整戦略を採用する。 この結果から,グラフ基盤モデル構築のためのオープニングパスとして,クロスデータセットのゼロショット転送可能性を実現する上で,我々のモデルの有効性を裏付けるものである。 コードとデータはhttps://github.com/NineAbyss/ZeroG.comで公開されている。

関連論文リスト

• GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
  GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。 LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。 数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:40:52Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Graph Few-shot Class-incremental Learning [25.94168397283495]
  新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。 本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。 基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。 本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
  論文  参考訳（メタデータ） (2021-12-23T19:46:07Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。