論文の概要: A Survey on Self-Supervised Pre-Training of Graph Foundation Models: A Knowledge-Based Perspective
- arxiv url: http://arxiv.org/abs/2403.16137v1
- Date: Sun, 24 Mar 2024 13:10:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:25:57.734337
- Title: A Survey on Self-Supervised Pre-Training of Graph Foundation Models: A Knowledge-Based Perspective
- Title(参考訳): グラフ基礎モデルの自己監督事前学習に関する調査:知識に基づく視点
- Authors: Ziwen Zhao, Yuhua Li, Yixiong Zou, Ruixuan Li, Rui Zhang,
- Abstract要約: 本稿では,知識ベースの観点から,グラフ基礎モデルの事前学習課題を調査し,分析する。
9つの知識カテゴリと25の事前訓練タスク、および下流タスク適応戦略をカバーしている。
- 参考スコア(独自算出の注目度): 13.584118387179721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph self-supervised learning is now a go-to method for pre-training graph foundation models, including graph neural networks, graph transformers, and more recent large language model (LLM)-based graph models. There is a wide variety of knowledge patterns embedded in the structure and properties of graphs which may be used for pre-training, but we lack a systematic overview of self-supervised pre-training tasks from the perspective of graph knowledge. In this paper, we comprehensively survey and analyze the pre-training tasks of graph foundation models from a knowledge-based perspective, consisting of microscopic (nodes, links, etc) and macroscopic knowledge (clusters, global structure, etc). It covers a total of 9 knowledge categories and 25 pre-training tasks, as well as various downstream task adaptation strategies. Furthermore, an extensive list of the related papers with detailed metadata is provided at https://github.com/Newiz430/Pretext.
- Abstract(参考訳): グラフ自己教師型学習は、グラフニューラルネットワーク、グラフトランスフォーマー、より最近の大規模言語モデル(LLM)ベースのグラフモデルを含む、グラフ基盤モデルを事前学習するためのゴーツーメソッドになった。
グラフの構造や特性に様々な知識パターンが組み込まれており、事前学習に使用することができるが、グラフ知識の観点から自己指導型事前学習タスクの体系的な概要を欠いている。
本稿では,微視的(ノード,リンクなど)とマクロ的知識(クラスタ,グローバル構造など)からなる知識ベースの観点から,グラフ基盤モデルの事前学習タスクを包括的に調査,分析する。
9つの知識カテゴリと25の事前訓練タスク、および下流タスク適応戦略をカバーしている。
さらに、詳細なメタデータを持つ関連論文の広範なリストがhttps://github.com/Newiz430/Pretext.comで公開されている。
関連論文リスト
- From Pixels to Insights: A Survey on Automatic Chart Understanding in the Era of Large Foundation Models [98.41645229835493]
グラフ形式のデータの可視化は、データ分析において重要な役割を担い、重要な洞察を提供し、情報的な意思決定を支援する。
大規模言語モデルのような大規模な基盤モデルは、様々な自然言語処理タスクに革命をもたらした。
本研究は,自然言語処理,コンピュータビジョン,データ解析の分野における研究者や実践者の包括的資源として機能する。
論文 参考訳(メタデータ) (2024-03-18T17:57:09Z) - UniGraph: Learning a Cross-Domain Graph Foundation Model From Natural
Language [41.722898353772656]
We present our UniGraph framework, designed to training a graph foundation model can generalizing to unseen graphs and task across various domain。
本稿では,MGM(Masked Graph Modeling)に基づく自己教師型学習目標を持つバックボーンネットワークとして,言語モデル(LM)とグラフニューラルネットワーク(GNN)のケースケードアーキテクチャを提案する。
さまざまなグラフ学習タスクやドメインにわたる包括的な実験は、目に見えないグラフの自己教師付き表現学習、少数ショットのインコンテキスト転送、ゼロショット転送におけるモデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-21T09:06:31Z) - A Survey of Data-Efficient Graph Learning [16.858948228451474]
研究フロンティアとして,データ効率グラフ学習(DEGL)の新たな概念を紹介した。
我々は、自己教師付きグラフ学習、半教師付きグラフ学習、少数ショットグラフ学習など、いくつかの重要な側面に関する最近の進歩を体系的にレビューした。
論文 参考訳(メタデータ) (2024-02-01T09:28:48Z) - Towards Graph Foundation Models: A Survey and Beyond [68.35562541338865]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳(メタデータ) (2023-10-18T09:31:21Z) - Curriculum Graph Machine Learning: A Survey [51.89783017927647]
カリキュラムグラフ機械学習(Graph CL)は、グラフ機械学習とカリキュラム学習の強みを統合する。
本稿では,グラフCLのアプローチを概観し,最近の研究動向を概観する。
論文 参考訳(メタデータ) (2023-02-06T16:59:25Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - Graph Pooling for Graph Neural Networks: Progress, Challenges, and
Opportunities [128.55790219377315]
グラフニューラルネットワークは多くのグラフレベルのタスクの主要なアーキテクチャとして登場した。
グラフプーリングは、グラフ全体の全体的グラフレベル表現を得るためには不可欠である。
論文 参考訳(メタデータ) (2022-04-15T04:02:06Z) - A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications [38.57023440288189]
我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。
まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。
次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
論文 参考訳(メタデータ) (2022-02-16T07:00:52Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。