論文の概要: A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications
- arxiv url: http://arxiv.org/abs/2202.07893v1
- Date: Wed, 16 Feb 2022 07:00:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-17 16:21:12.230327
- Title: A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications
- Title（参考訳）: グラフの事前学習に関する調査--分類学・方法・応用
- Authors: Jun Xia, Yanqiao Zhu, Yuanqi Du, Stan Z. Li
- Abstract要約: 我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。
まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。
次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
- 参考スコア（独自算出の注目度）: 38.57023440288189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained Language Models (PLMs) such as BERT have revolutionized the
landscape of Natural Language Processing (NLP). Inspired by their
proliferation, tremendous efforts have been devoted to Pretrained Graph Models
(PGMs). Owing to the powerful model architectures of PGMs, abundant knowledge
from massive labeled and unlabeled graph data can be captured. The knowledge
implicitly encoded in model parameters can benefit various downstream tasks and
help to alleviate several fundamental issues of learning on graphs. In this
paper, we provide the first comprehensive survey for PGMs. We firstly present
the limitations of graph representation learning and thus introduce the
motivation for graph pre-training. Then, we systematically categorize existing
PGMs based on a taxonomy from four different perspectives. Next, we present the
applications of PGMs in social recommendation and drug discovery. Finally, we
outline several promising research directions that can serve as a guideline for
future research.
- Abstract（参考訳）: BERTのような事前訓練された言語モデル(PLM)は自然言語処理(NLP)の景観に革命をもたらした。
その増殖に触発されて、事前学習グラフモデル(PGM)に多大な努力が注がれている。
PGMの強力なモデルアーキテクチャのため、大量のラベル付きおよびラベルなしグラフデータからの豊富な知識を捉えることができる。
モデルパラメータに暗黙的にエンコードされた知識は、さまざまな下流タスクの恩恵を受け、グラフ上での学習の基本的な問題を緩和するのに役立ちます。
本稿では,PGMの総合的な調査を初めて実施する。
まず,グラフ表現学習の限界を説明し,グラフ事前学習の動機を紹介する。
そして,4つの異なる観点から,既存のPGMを分類的に分類する。
次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
最後に,今後の研究の指針となる有望な研究の方向性について概説する。
関連論文リスト
- A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation [59.14165404728197]
我々は,分散シフト下での深層グラフ学習について,最新かつ先見的なレビューを行う。
具体的には,グラフ OOD 一般化,トレーニング時グラフ OOD 適応,テスト時グラフ OOD 適応の3つのシナリオについて述べる。
文献の理解を深めるために,提案した分類に基づく既存モデルを体系的に分類した。
論文 参考訳（メタデータ） (2024-10-25T02:39:56Z) - A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective [14.403179370556332]
グラフ自己教師型学習(SSL)は、グラフ基礎モデル(GFM)を事前学習するためのゴートメソッドとなった
本稿では,自己教師付きグラフモデルを用いた知識に基づく分類法を提案する。
論文 参考訳（メタデータ） (2024-03-24T13:10:09Z) - A Survey of Data-Efficient Graph Learning [16.053913182723143]
研究フロンティアとして,データ効率グラフ学習(DEGL)の新たな概念を紹介した。
我々は、自己教師付きグラフ学習、半教師付きグラフ学習、少数ショットグラフ学習など、いくつかの重要な側面に関する最近の進歩を体系的にレビューした。
論文 参考訳（メタデータ） (2024-02-01T09:28:48Z) - Graph Domain Adaptation: Challenges, Progress and Prospects [61.9048172631524]
本稿では,グラフ間の効果的な知識伝達パラダイムとしてグラフ領域適応を提案する。
GDAは、ソースグラフとしてタスク関連のグラフを多数導入し、ソースグラフから学習した知識をターゲットグラフに適応させる。
研究状況と課題について概説し、分類学を提案し、代表作の詳細を紹介し、今後の展望について論じる。
論文 参考訳（メタデータ） (2024-02-01T02:44:32Z) - Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳（メタデータ） (2023-10-18T09:31:21Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help
Multiple Graph Applications [38.83545631999851]
大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。
Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
論文 参考訳（メタデータ） (2023-06-05T04:46:44Z) - A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic,
and Multimodal [57.8455911689554]
知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。
質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
論文 参考訳（メタデータ） (2022-12-12T08:40:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。