論文の概要: A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective

• arxiv url: http://arxiv.org/abs/2403.16137v2
• Date: Wed, 31 Jul 2024 16:16:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 13:27:16.291140
• Title: A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
• Title（参考訳）: 自己監督型グラフ基礎モデルに関するサーベイ:知識に基づく視点
• Authors: Ziwen Zhao, Yixin Su, Yuhua Li, Yixiong Zou, Ruixuan Li, Rui Zhang,
• Abstract要約: グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドとなった 本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
• 参考スコア（独自算出の注目度）: 14.403179370556332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph self-supervised learning (SSL) is now a go-to method for pre-training graph foundation models (GFMs). There is a wide variety of knowledge patterns embedded in the graph data, such as node properties and clusters, which are crucial to learning generalized representations for GFMs. However, existing surveys of GFMs have several shortcomings: they lack comprehensiveness regarding the most recent progress, have unclear categorization of self-supervised methods, and take a limited architecture-based perspective that is restricted to only certain types of graph models. As the ultimate goal of GFMs is to learn generalized graph knowledge, we provide a comprehensive survey of self-supervised GFMs from a novel knowledge-based perspective. We propose a knowledge-based taxonomy, which categorizes self-supervised graph models by the specific graph knowledge utilized. Our taxonomy consists of microscopic (nodes, links, etc.), mesoscopic (context, clusters, etc.), and macroscopic knowledge (global structure, manifolds, etc.). It covers a total of 9 knowledge categories and more than 25 pretext tasks for pre-training GFMs, as well as various downstream task generalization strategies. Such a knowledge-based taxonomy allows us to re-examine graph models based on new architectures more clearly, such as graph language models, as well as provide more in-depth insights for constructing GFMs.
• Abstract（参考訳）: グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドである。 グラフデータには、ノード特性やクラスタなど、さまざまな知識パターンが組み込まれており、GFMの一般化表現の学習に不可欠である。 しかし、GFMの既存の調査にはいくつかの欠点がある: 最新の進歩に関する包括性が欠如し、自己管理手法の分類が不明確であり、特定の種類のグラフモデルに限られる限定的なアーキテクチャに基づく視点を採っている。 GFMの最終的な目標は、一般化されたグラフ知識を学習することである。 本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。 我々の分類学は、ミクロ(ノード、リンクなど)、メソスコピック(コンテキスト、クラスタなど)、マクロ的知識(グローバル構造、多様体など)から構成される。 9つの知識カテゴリと25以上のプレテキストタスクを事前訓練し、様々な下流タスクの一般化戦略をカバーしている。 このような知識に基づく分類は、グラフ言語モデルのような新しいアーキテクチャに基づいたグラフモデルをより明確に再検討し、GFMを構築するためのより深い洞察を提供する。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Towards Data-centric Machine Learning on Directed Graphs: a Survey [23.498557237805414]
  本稿では,有向グラフ学習研究のための新しい分類法を提案する。 我々はこれらの手法をデータ中心の観点から再検討し、データ表現の理解と改善に重点を置いている。 我々はこの分野における主要な機会と課題を特定し、有向グラフ学習における将来の研究と開発を導く洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-28T06:09:12Z)
• LangGFM: A Large Language Model Alone Can be a Powerful Graph Foundation Model [27.047809869136458]
  グラフ基礎モデル(GFM)が最近注目を集めている。 現在の研究は、グラフ学習タスクの特定のサブセットに焦点を当てる傾向がある。 GFMBenchは26のデータセットからなる体系的で包括的なベンチマークである。 また,大規模言語モデルに完全に依存する新しいGFMであるLangGFMを紹介する。
  論文  参考訳（メタデータ） (2024-10-19T03:27:19Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications [38.57023440288189]
  我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。 まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。 次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
  論文  参考訳（メタデータ） (2022-02-16T07:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。