論文の概要: GPT-GNN: Generative Pre-Training of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2006.15437v1
• Date: Sat, 27 Jun 2020 20:12:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:41:21.337849
• Title: GPT-GNN: Generative Pre-Training of Graph Neural Networks
• Title（参考訳）: GPT-GNN: グラフニューラルネットワークの生成前トレーニング
• Authors: Ziniu Hu and Yuxiao Dong and Kuansan Wang and Kai-Wei Chang and Yizhou Sun
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 93.35945182085948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have been demonstrated to be powerful in modeling graph-structured data. However, training GNNs usually requires abundant task-specific labeled data, which is often arduously expensive to obtain. One effective way to reduce the labeling effort is to pre-train an expressive GNN model on unlabeled data with self-supervision and then transfer the learned model to downstream tasks with only a few labels. In this paper, we present the GPT-GNN framework to initialize GNNs by generative pre-training. GPT-GNN introduces a self-supervised attributed graph generation task to pre-train a GNN so that it can capture the structural and semantic properties of the graph. We factorize the likelihood of the graph generation into two components: 1) Attribute Generation and 2) Edge Generation. By modeling both components, GPT-GNN captures the inherent dependency between node attributes and graph structure during the generative process. Comprehensive experiments on the billion-scale Open Academic Graph and Amazon recommendation data demonstrate that GPT-GNN significantly outperforms state-of-the-art GNN models without pre-training by up to 9.1% across various downstream tasks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 しかしながら、GNNのトレーニングは通常、豊富なタスク固有のラベル付きデータを必要とする。 ラベル付けの労力を減らす効果的な方法の1つは、ラベルなしデータの表現型GNNモデルを自己スーパービジョンで事前訓練し、学習したモデルを少数のラベルで下流タスクに転送することである。 本稿では,生成前学習によるGNNの初期化のためのGPT-GNNフレームワークを提案する。 GPT-GNNは、グラフの構造的および意味的特性をキャプチャするために、GNNを事前トレーニングするために、自己教師付き属性付きグラフ生成タスクを導入する。 グラフ生成の可能性を2つのコンポーネントに分解します。 1)属性生成及び 2)エッジ生成。 両方のコンポーネントをモデル化することにより、GPT-GNNは生成プロセス中にノード属性とグラフ構造の間の固有の依存関係をキャプチャする。 数十億ドル規模のOpen Academic GraphとAmazonのレコメンデーションデータに関する包括的な実験は、GPT-GNNが、さまざまな下流タスクで最大9.1%の事前トレーニングをすることなく、最先端のGNNモデルを大幅に上回っていることを示している。

関連論文リスト

• Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
  グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。 GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。 11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-16T03:59:18Z)
• Geodesic Graph Neural Network for Efficient Graph Representation Learning [34.047527874184134]
  我々はGeodesic GNN(GDGNN)と呼ばれる効率的なGNNフレームワークを提案する。 ラベル付けなしでノード間の条件付き関係をモデルに注入する。 ジオデシック表現を前提としたGDGNNは、通常のGNNよりもはるかにリッチな構造情報を持つノード、リンク、グラフ表現を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T02:02:35Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)
• Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
  グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。 本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。 SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2020-02-18T12:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。