論文の概要: A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective

• arxiv url: http://arxiv.org/abs/2403.16137v2
• Date: Wed, 31 Jul 2024 16:16:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 13:27:16.291140
• Title: A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
• Title（参考訳）: 自己監督型グラフ基礎モデルに関するサーベイ:知識に基づく視点
• Authors: Ziwen Zhao, Yixin Su, Yuhua Li, Yixiong Zou, Ruixuan Li, Rui Zhang,
• Abstract要約: グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドとなった 本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
• 参考スコア（独自算出の注目度）: 14.403179370556332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph self-supervised learning (SSL) is now a go-to method for pre-training graph foundation models (GFMs). There is a wide variety of knowledge patterns embedded in the graph data, such as node properties and clusters, which are crucial to learning generalized representations for GFMs. However, existing surveys of GFMs have several shortcomings: they lack comprehensiveness regarding the most recent progress, have unclear categorization of self-supervised methods, and take a limited architecture-based perspective that is restricted to only certain types of graph models. As the ultimate goal of GFMs is to learn generalized graph knowledge, we provide a comprehensive survey of self-supervised GFMs from a novel knowledge-based perspective. We propose a knowledge-based taxonomy, which categorizes self-supervised graph models by the specific graph knowledge utilized. Our taxonomy consists of microscopic (nodes, links, etc.), mesoscopic (context, clusters, etc.), and macroscopic knowledge (global structure, manifolds, etc.). It covers a total of 9 knowledge categories and more than 25 pretext tasks for pre-training GFMs, as well as various downstream task generalization strategies. Such a knowledge-based taxonomy allows us to re-examine graph models based on new architectures more clearly, such as graph language models, as well as provide more in-depth insights for constructing GFMs.
• Abstract（参考訳）: グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドである。 グラフデータには、ノード特性やクラスタなど、さまざまな知識パターンが組み込まれており、GFMの一般化表現の学習に不可欠である。 しかし、GFMの既存の調査にはいくつかの欠点がある: 最新の進歩に関する包括性が欠如し、自己管理手法の分類が不明確であり、特定の種類のグラフモデルに限られる限定的なアーキテクチャに基づく視点を採っている。 GFMの最終的な目標は、一般化されたグラフ知識を学習することである。 本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。 我々の分類学は、ミクロ(ノード、リンクなど)、メソスコピック(コンテキスト、クラスタなど)、マクロ的知識(グローバル構造、多様体など)から構成される。 9つの知識カテゴリと25以上のプレテキストタスクを事前訓練し、様々な下流タスクの一般化戦略をカバーしている。 このような知識に基づく分類は、グラフ言語モデルのような新しいアーキテクチャに基づいたグラフモデルをより明確に再検討し、GFMを構築するためのより深い洞察を提供する。

関連論文リスト

• LangGFM: A Large Language Model Alone Can be a Powerful Graph Foundation Model [27.047809869136458]
  グラフ基礎モデル(GFM)が最近注目を集めている。 現在の研究は、グラフ学習タスクの特定のサブセットに焦点を当てる傾向がある。 GFMBenchは26のデータセットからなる体系的で包括的なベンチマークである。 また,大規模言語モデルに完全に依存する新しいGFMであるLangGFMを紹介する。
  論文  参考訳（メタデータ） (2024-10-19T03:27:19Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications [38.57023440288189]
  我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。 まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。 次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
  論文  参考訳（メタデータ） (2022-02-16T07:00:52Z)
• Self-supervised Graph-level Representation Learning with Local and Global Structure [71.45196938842608]
  自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。 GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。 モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
  論文  参考訳（メタデータ） (2021-06-08T05:25:38Z)
• Machine Learning on Graphs: A Model and Comprehensive Taxonomy [22.73365477040205]
  グラフニューラルネットワーク、ネットワーク埋め込み、グラフ正規化モデルの間のギャップを埋める。 具体的には、グラフ上の半教師付き学習のための一般的なアルゴリズムを一般化するグラフデコーダモデル( GraphEDM)を提案する。
  論文  参考訳（メタデータ） (2020-05-07T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。