論文の概要: A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
- arxiv url: http://arxiv.org/abs/2403.16137v2
- Date: Wed, 31 Jul 2024 16:16:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 13:27:16.291140
- Title: A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
- Title(参考訳): 自己監督型グラフ基礎モデルに関するサーベイ:知識に基づく視点
- Authors: Ziwen Zhao, Yixin Su, Yuhua Li, Yixiong Zou, Ruixuan Li, Rui Zhang,
- Abstract要約: グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドとなった
本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
- 参考スコア(独自算出の注目度): 14.403179370556332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph self-supervised learning (SSL) is now a go-to method for pre-training graph foundation models (GFMs). There is a wide variety of knowledge patterns embedded in the graph data, such as node properties and clusters, which are crucial to learning generalized representations for GFMs. However, existing surveys of GFMs have several shortcomings: they lack comprehensiveness regarding the most recent progress, have unclear categorization of self-supervised methods, and take a limited architecture-based perspective that is restricted to only certain types of graph models. As the ultimate goal of GFMs is to learn generalized graph knowledge, we provide a comprehensive survey of self-supervised GFMs from a novel knowledge-based perspective. We propose a knowledge-based taxonomy, which categorizes self-supervised graph models by the specific graph knowledge utilized. Our taxonomy consists of microscopic (nodes, links, etc.), mesoscopic (context, clusters, etc.), and macroscopic knowledge (global structure, manifolds, etc.). It covers a total of 9 knowledge categories and more than 25 pretext tasks for pre-training GFMs, as well as various downstream task generalization strategies. Such a knowledge-based taxonomy allows us to re-examine graph models based on new architectures more clearly, such as graph language models, as well as provide more in-depth insights for constructing GFMs.
- Abstract(参考訳): グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドである。
グラフデータには、ノード特性やクラスタなど、さまざまな知識パターンが組み込まれており、GFMの一般化表現の学習に不可欠である。
しかし、GFMの既存の調査にはいくつかの欠点がある: 最新の進歩に関する包括性が欠如し、自己管理手法の分類が不明確であり、特定の種類のグラフモデルに限られる限定的なアーキテクチャに基づく視点を採っている。
GFMの最終的な目標は、一般化されたグラフ知識を学習することである。
本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
我々の分類学は、ミクロ(ノード、リンクなど)、メソスコピック(コンテキスト、クラスタなど)、マクロ的知識(グローバル構造、多様体など)から構成される。
9つの知識カテゴリと25以上のプレテキストタスクを事前訓練し、様々な下流タスクの一般化戦略をカバーしている。
このような知識に基づく分類は、グラフ言語モデルのような新しいアーキテクチャに基づいたグラフモデルをより明確に再検討し、GFMを構築するためのより深い洞察を提供する。
関連論文リスト
- From Pixels to Insights: A Survey on Automatic Chart Understanding in the Era of Large Foundation Models [98.41645229835493]
グラフ形式のデータの可視化は、データ分析において重要な役割を担い、重要な洞察を提供し、情報的な意思決定を支援する。
大規模言語モデルのような大規模な基盤モデルは、様々な自然言語処理タスクに革命をもたらした。
本研究は,自然言語処理,コンピュータビジョン,データ解析の分野における研究者や実践者の包括的資源として機能する。
論文 参考訳(メタデータ) (2024-03-18T17:57:09Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - A Survey of Data-Efficient Graph Learning [16.053913182723143]
研究フロンティアとして,データ効率グラフ学習(DEGL)の新たな概念を紹介した。
我々は、自己教師付きグラフ学習、半教師付きグラフ学習、少数ショットグラフ学習など、いくつかの重要な側面に関する最近の進歩を体系的にレビューした。
論文 参考訳(メタデータ) (2024-02-01T09:28:48Z) - Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳(メタデータ) (2023-10-18T09:31:21Z) - Curriculum Graph Machine Learning: A Survey [51.89783017927647]
カリキュラムグラフ機械学習(Graph CL)は、グラフ機械学習とカリキュラム学習の強みを統合する。
本稿では,グラフCLのアプローチを概観し,最近の研究動向を概観する。
論文 参考訳(メタデータ) (2023-02-06T16:59:25Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - Graph Pooling for Graph Neural Networks: Progress, Challenges, and
Opportunities [128.55790219377315]
グラフニューラルネットワークは多くのグラフレベルのタスクの主要なアーキテクチャとして登場した。
グラフプーリングは、グラフ全体の全体的グラフレベル表現を得るためには不可欠である。
論文 参考訳(メタデータ) (2022-04-15T04:02:06Z) - A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications [38.57023440288189]
我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。
まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。
次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
論文 参考訳(メタデータ) (2022-02-16T07:00:52Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。