論文の概要: ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs
- arxiv url: http://arxiv.org/abs/2402.11235v1
- Date: Sat, 17 Feb 2024 09:52:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:22:42.378467
- Title: ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs
- Title(参考訳): ZeroG: グラフにおけるデータセット間のゼロショット転送可能性の調査
- Authors: Yuhan Li, Peisong Wang, Zhixun Li, Jeffrey Xu Yu, Jia Li
- Abstract要約: ZeroGは、クロスデータセットの一般化を可能にするために設計された新しいフレームワークである。
本稿では,抽出したサブグラフの意味情報と構造情報を豊かにするための,プロンプトベースのサブグラフサンプリングモジュールを提案する。
その結果, モデルの有効性は, クロスデータセットのゼロショット転送性に有意であることがわかった。
- 参考スコア(独自算出の注目度): 39.4270450766651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of foundation models such as large language models,
zero-shot transfer learning has become increasingly significant. This is
highlighted by the generative capabilities of NLP models like GPT-4, and the
retrieval-based approaches of CV models like CLIP, both of which effectively
bridge the gap between seen and unseen data. In the realm of graph learning,
the continuous emergence of new graphs and the challenges of human labeling
also amplify the necessity for zero-shot transfer learning, driving the
exploration of approaches that can generalize across diverse graph data without
necessitating dataset-specific and label-specific fine-tuning. In this study,
we extend such paradigms to zero-shot transferability in graphs by introducing
ZeroG, a new framework tailored to enable cross-dataset generalization.
Addressing the inherent challenges such as feature misalignment, mismatched
label spaces, and negative transfer, we leverage a language model to encode
both node attributes and class semantics, ensuring consistent feature
dimensions across datasets. We also propose a prompt-based subgraph sampling
module that enriches the semantic information and structure information of
extracted subgraphs using prompting nodes and neighborhood aggregation,
respectively. We further adopt a lightweight fine-tuning strategy that reduces
the risk of overfitting and maintains the zero-shot learning efficacy of the
language model. The results underscore the effectiveness of our model in
achieving significant cross-dataset zero-shot transferability, opening pathways
for the development of graph foundation models. Especially, ZeroG, as a
zero-shot method, can even achieve results comparable to those of
semi-supervised learning on Pubmed.
- Abstract(参考訳): 大規模言語モデルのような基礎モデルの開発に伴い、ゼロショット転送学習はますます重要になっている。
これは、GPT-4のようなNLPモデルの生成能力と、CLIPのようなCVモデルの検索ベースのアプローチによって強調される。
グラフ学習の領域では、新しいグラフの継続的な出現と人間のラベル付けの課題は、ゼロショット転送学習の必要性を増幅し、データセットやラベル固有の微調整を必要とせず、多様なグラフデータにまたがる一般化可能なアプローチの探索を促進する。
本研究では,クロスデータセットの一般化を可能にする新しいフレームワークであるzerogを導入することで,このようなパラダイムをグラフのゼロショット転送可能性に拡張する。
特徴のミスアライメント、ラベル空間のミスマッチ、負の移動といった固有の課題に対処するため、我々は言語モデルを利用してノード属性とクラスセマンティクスの両方を符号化し、データセット間で一貫した特徴次元を確保する。
また,プロンプトノードと近傍アグリゲーションを用いて抽出されたサブグラフの意味情報と構造情報を強化するプロンプトベースのサブグラフサンプリングモジュールを提案する。
さらに、オーバーフィットのリスクを低減し、言語モデルのゼロショット学習効果を維持する軽量な微調整戦略を採用する。
この結果は,グラフ基礎モデル開発のための開水路として,重要なクロスデータセットのゼロショット転送可能性を達成する上でのモデルの有効性を強調するものである。
特にゼロショット法であるzerogは、pubmed上の半教師付き学習に匹敵する結果を得ることができる。
関連論文リスト
- Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。
モデルはGCNを適用するために初期グラフを事前に推定する。
一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文 参考訳(メタデータ) (2024-02-25T07:03:37Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳(メタデータ) (2022-01-17T11:57:29Z) - Prototypical Model with Novel Information-theoretic Loss Function for
Generalized Zero Shot Learning [3.870962269034544]
一般ゼロショット学習(GZSL)は、ディープラーニングの技術的課題である。
本稿では,知識伝達と意味的関係の定量化について,情報理論の観点から考察する。
決定論的GZSLモデルのための情報理論損失関数を3つ提案する。
論文 参考訳(メタデータ) (2021-12-06T16:01:46Z) - A self-training framework for glaucoma grading in OCT B-scans [6.382852973055393]
そこで本研究では,OCT B-Scansを用いた緑内障検診のための自己学習型フレームワークを提案する。
2段階の学習手法は、最初のステップで生成された擬似ラベルを利用して、ターゲットドメイン上のトレーニングデータセットを拡大する。
提案する新しい緑内障特異的バックボーンは,遅延空間の埋め込み特性を改良するために,スキップ接続による残像と注意点のモジュールを導入している。
論文 参考訳(メタデータ) (2021-11-23T10:33:55Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - When Contrastive Learning Meets Active Learning: A Novel Graph Active
Learning Paradigm with Self-Supervision [19.938379604834743]
本稿では,グラフニューラルネットワーク(GNN)の性能を最大化するための最も情報性の高いノードを発見することを目的とした,グラフ上のアクティブラーニング(AL)について検討する。
比較学習(CL)の成功に触発され,グラフALをCLとシームレスに統合する新しいパラダイムを提案する。
5つの公開データセットに対する包括的かつ不確定な実験は、我々の手法が最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-10-30T06:20:07Z) - Contrastive and Generative Graph Convolutional Networks for Graph-based
Semi-Supervised Learning [64.98816284854067]
グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。
本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-15T13:59:28Z) - Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot
Learning [21.89909688056478]
トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。
これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。
提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
論文 参考訳(メタデータ) (2020-07-15T15:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。