論文の概要: A Survey on Self-Supervised Pre-Training of Graph Foundation Models: A Knowledge-Based Perspective

• arxiv url: http://arxiv.org/abs/2403.16137v1
• Date: Sun, 24 Mar 2024 13:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 17:25:57.734337
• Title: A Survey on Self-Supervised Pre-Training of Graph Foundation Models: A Knowledge-Based Perspective
• Title（参考訳）: グラフ基礎モデルの自己監督事前学習に関する調査:知識に基づく視点
• Authors: Ziwen Zhao, Yuhua Li, Yixiong Zou, Ruixuan Li, Rui Zhang,
• Abstract要約: 本稿では,知識ベースの観点から,グラフ基礎モデルの事前学習課題を調査し,分析する。 9つの知識カテゴリと25の事前訓練タスク、および下流タスク適応戦略をカバーしている。
• 参考スコア（独自算出の注目度）: 13.584118387179721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph self-supervised learning is now a go-to method for pre-training graph foundation models, including graph neural networks, graph transformers, and more recent large language model (LLM)-based graph models. There is a wide variety of knowledge patterns embedded in the structure and properties of graphs which may be used for pre-training, but we lack a systematic overview of self-supervised pre-training tasks from the perspective of graph knowledge. In this paper, we comprehensively survey and analyze the pre-training tasks of graph foundation models from a knowledge-based perspective, consisting of microscopic (nodes, links, etc) and macroscopic knowledge (clusters, global structure, etc). It covers a total of 9 knowledge categories and 25 pre-training tasks, as well as various downstream task adaptation strategies. Furthermore, an extensive list of the related papers with detailed metadata is provided at https://github.com/Newiz430/Pretext.
• Abstract（参考訳）: グラフ自己教師型学習は、グラフニューラルネットワーク、グラフトランスフォーマー、より最近の大規模言語モデル(LLM)ベースのグラフモデルを含む、グラフ基盤モデルを事前学習するためのゴーツーメソッドになった。 グラフの構造や特性に様々な知識パターンが組み込まれており、事前学習に使用することができるが、グラフ知識の観点から自己指導型事前学習タスクの体系的な概要を欠いている。 本稿では,微視的(ノード,リンクなど)とマクロ的知識(クラスタ,グローバル構造など)からなる知識ベースの観点から,グラフ基盤モデルの事前学習タスクを包括的に調査,分析する。 9つの知識カテゴリと25の事前訓練タスク、および下流タスク適応戦略をカバーしている。 さらに、詳細なメタデータを持つ関連論文の広範なリストがhttps://github.com/Newiz430/Pretext.comで公開されている。

関連論文リスト

• LangGFM: A Large Language Model Alone Can be a Powerful Graph Foundation Model [27.047809869136458]
  グラフ基礎モデル(GFM)が最近注目を集めている。 現在の研究は、グラフ学習タスクの特定のサブセットに焦点を当てる傾向がある。 GFMBenchは26のデータセットからなる体系的で包括的なベンチマークである。 また,大規模言語モデルに完全に依存する新しいGFMであるLangGFMを紹介する。
  論文  参考訳（メタデータ） (2024-10-19T03:27:19Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic, and Multimodal [57.8455911689554]
  知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。 質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
  論文  参考訳（メタデータ） (2022-12-12T08:40:04Z)
• A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications [38.57023440288189]
  我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。 まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。 次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
  論文  参考訳（メタデータ） (2022-02-16T07:00:52Z)
• Self-supervised Graph-level Representation Learning with Local and Global Structure [71.45196938842608]
  自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。 GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。 モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
  論文  参考訳（メタデータ） (2021-06-08T05:25:38Z)
• Machine Learning on Graphs: A Model and Comprehensive Taxonomy [22.73365477040205]
  グラフニューラルネットワーク、ネットワーク埋め込み、グラフ正規化モデルの間のギャップを埋める。 具体的には、グラフ上の半教師付き学習のための一般的なアルゴリズムを一般化するグラフデコーダモデル( GraphEDM)を提案する。
  論文  参考訳（メタデータ） (2020-05-07T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。