論文の概要: GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
- arxiv url: http://arxiv.org/abs/2006.09963v3
- Date: Thu, 2 Jul 2020 06:38:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:27:25.598502
- Title: GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
- Title（参考訳）: GCC: グラフニューラルネットワーク事前トレーニングのためのグラフコントラスト符号化
- Authors: Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming
Ding, Kuansan Wang, Jie Tang
- Abstract要約: グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
- 参考スコア（独自算出の注目度）: 62.73470368851127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph representation learning has emerged as a powerful technique for
addressing real-world problems. Various downstream graph learning tasks have
benefited from its recent developments, such as node classification, similarity
search, and graph classification. However, prior arts on graph representation
learning focus on domain specific problems and train a dedicated model for each
graph dataset, which is usually non-transferable to out-of-domain data.
Inspired by the recent advances in pre-training from natural language
processing and computer vision, we design Graph Contrastive Coding (GCC) -- a
self-supervised graph neural network pre-training framework -- to capture the
universal network topological properties across multiple networks. We design
GCC's pre-training task as subgraph instance discrimination in and across
networks and leverage contrastive learning to empower graph neural networks to
learn the intrinsic and transferable structural representations. We conduct
extensive experiments on three graph learning tasks and ten graph datasets. The
results show that GCC pre-trained on a collection of diverse datasets can
achieve competitive or better performance to its task-specific and
trained-from-scratch counterparts. This suggests that the pre-training and
fine-tuning paradigm presents great potential for graph representation
learning.
- Abstract（参考訳）: グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
ダウンストリームグラフ学習タスクは、ノード分類、類似性探索、グラフ分類などの最近の発展の恩恵を受けている。
しかしながら、グラフ表現学習における先行技術は、ドメイン固有の問題に焦点を当て、各グラフデータセットの専用モデルをトレーニングする。
自然言語処理とコンピュータビジョンからの事前学習の最近の進歩に触発されて、我々はグラフコントラストコーディング (gcc) -- 自己教師付きグラフニューラルネットワーク事前学習フレームワーク -- を設計、複数のネットワークにまたがるユニバーサルネットワークトポロジー特性をキャプチャする。
我々はgccの事前学習タスクを,ネットワーク内およびネットワーク間におけるサブグラフインスタンス識別として設計し,グラフニューラルネットワークに内在的かつ転送可能な構造表現を学習させるためのコントラスト学習を利用する。
3つのグラフ学習タスクと10のグラフデータセットに関する広範な実験を行う。
その結果,多種多様なデータセットの集合を事前学習したgccは,そのタスク固有かつスクラッチからトレーニングされたデータに対して,競争力やパフォーマンスの向上が期待できることがわかった。
このことは、事前学習と微調整のパラダイムがグラフ表現学習に大きな可能性を示唆している。
関連論文リスト
- UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。
本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。
本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文 参考訳（メタデータ） (2024-02-21T09:06:31Z) - HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained
Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。
半教師付きノード分類における最先端HGNNの性能を向上させる。
論文 参考訳（メタデータ） (2023-10-23T19:35:57Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳（メタデータ） (2023-06-20T03:33:22Z) - Towards Relation-centered Pooling and Convolution for Heterogeneous
Graph Learning Networks [11.421162988355146]
不均一グラフニューラルネットワークは,グラフ表現学習において大きな可能性を秘めている。
我々は,PC-HGNという異種グラフ学習ネットワークのための関係中心のPooling and Convolutionを設計し,関係固有サンプリングと相互関係の畳み込みを実現する。
実世界の3つのデータセットにおける最先端グラフ学習モデルとの比較により,提案モデルの性能評価を行った。
論文 参考訳（メタデータ） (2022-10-31T08:43:32Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳（メタデータ） (2022-05-19T14:08:15Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳（メタデータ） (2020-10-25T22:39:31Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。