論文の概要: Pairwise Half-graph Discrimination: A Simple Graph-level Self-supervised
Strategy for Pre-training Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2110.13567v1
- Date: Tue, 26 Oct 2021 10:51:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 23:08:32.970232
- Title: Pairwise Half-graph Discrimination: A Simple Graph-level Self-supervised
Strategy for Pre-training Graph Neural Networks
- Title（参考訳）: ペアワイド半グラフ判別:事前学習型グラフニューラルネットワークのための簡易グラフレベル自己教師戦略
- Authors: Pengyong Li, Jun Wang, Ziliang Li, Yixuan Qiao, Xianggen Liu, Fei Ma,
Peng Gao, Seng Song, Guotong Xie
- Abstract要約: 我々はPairwise Half-graph Discrimination(PHD)という,シンプルで効果的な自己指導型事前学習戦略を提案する。
PHDはグラフレベルでグラフニューラルネットワークを明示的に事前トレーニングする。
- 参考スコア（独自算出の注目度）: 17.976090901276905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning has gradually emerged as a powerful technique for
graph representation learning. However, transferable, generalizable, and robust
representation learning on graph data still remains a challenge for
pre-training graph neural networks. In this paper, we propose a simple and
effective self-supervised pre-training strategy, named Pairwise Half-graph
Discrimination (PHD), that explicitly pre-trains a graph neural network at
graph-level. PHD is designed as a simple binary classification task to
discriminate whether two half-graphs come from the same source. Experiments
demonstrate that the PHD is an effective pre-training strategy that offers
comparable or superior performance on 13 graph classification tasks compared
with state-of-the-art strategies, and achieves notable improvements when
combined with node-level strategies. Moreover, the visualization of learned
representation revealed that PHD strategy indeed empowers the model to learn
graph-level knowledge like the molecular scaffold. These results have
established PHD as a powerful and effective self-supervised learning strategy
in graph-level representation learning.
- Abstract（参考訳）: 自己教師付き学習はグラフ表現学習の強力な技術として徐々に現れてきた。
しかし、グラフデータの転送可能、一般化、堅牢な表現学習は、グラフニューラルネットワークの事前学習にとって依然として課題である。
本稿では,グラフレベルでグラフニューラルネットワークを明示的に事前学習するPairwise Half-graph Discrimination(PHD)という,シンプルで効果的な自己教師付き事前学習戦略を提案する。
PHDは、2つの半グラフが同じソースから来ているかどうかを識別するための単純なバイナリ分類タスクとして設計されている。
実験により、PHDは13のグラフ分類タスクに匹敵するあるいは優れたパフォーマンスを提供する効果的な事前学習戦略であり、ノードレベルの戦略と組み合わせた場合の顕著な改善が示されている。
さらに、学習表現の可視化により、phd戦略が実際にモデルに分子足場のようなグラフレベルの知識を学ぶ力を与えていることが明らかとなった。
これらの結果は,グラフレベルの表現学習において,PHDを強力かつ効果的な自己教師型学習戦略として確立した。
関連論文リスト
- Disentangled Generative Graph Representation Learning [51.59824683232925]
本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。
潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。
2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
論文 参考訳（メタデータ） (2024-08-24T05:13:02Z) - Imbalanced Graph Classification with Multi-scale Oversampling Graph Neural Networks [25.12261412297796]
本稿では,表現力のあるマイノリティグラフ表現を学習するマルチスケールオーバーサンプリンググラフニューラルネットワーク(MOSGNN)を提案する。
サブグラフレベル、グラフレベル、ペアワイズグラフ学習タスクを共同で最適化することで、これを実現する。
16のバランスの取れないグラフデータセットの実験では、MOSGNN i)が5つの最先端モデルを大幅に上回っている。
論文 参考訳（メタデータ） (2024-05-08T09:16:54Z) - Self-supervised Learning and Graph Classification under Heterophily [4.358149865548289]
我々は,Metric(PGM)に基づく,事前学習型グラフニューラルネットワーク(GNN)のための新しい自己教師型戦略を提案する。
我々の戦略は、分子特性予測とタンパク質機能予測のための最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-14T12:32:38Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。
ARIELは敵の攻撃に対してより堅牢である。
論文 参考訳（メタデータ） (2022-08-15T01:24:42Z) - GraphHD: Efficient graph classification using hyperdimensional computing [58.720142291102135]
本稿では,HDCを用いたグラフ分類のベースライン手法を提案する。
実世界のグラフ分類問題におけるGraphHDの評価を行った。
その結果,最新のグラフニューラルネットワーク (GNN) と比較すると,提案手法の精度は同等であることがわかった。
論文 参考訳（メタデータ） (2022-05-16T17:32:58Z) - Learning Robust Representation through Graph Adversarial Contrastive
Learning [6.332560610460623]
既存の研究では、グラフニューラルネットワーク(GNN)によって生成されたノード表現が、敵の攻撃に対して脆弱であることが示されている。
本稿では,グラフ自己教師型学習に対数拡張を導入することにより,新しいグラフ適応型コントラスト学習フレームワーク(GraphACL)を提案する。
論文 参考訳（メタデータ） (2022-01-31T07:07:51Z) - Hierarchical Adaptive Pooling by Capturing High-order Dependency for
Graph Representation Learning [18.423192209359158]
グラフニューラルネットワーク(GNN)はノードレベルのグラフ表現学習タスクでグラフ構造化データを扱うのに十分成熟していることが証明されている。
本稿では,グラフ構造に適応する階層型グラフレベルの表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-13T06:22:24Z) - Graph Representation Learning by Ensemble Aggregating Subgraphs via
Mutual Information Maximization [5.419711903307341]
グラフニューラルネットワークが学習するグラフレベルの表現を高めるための自己監視型学習法を提案する。
グラフ構造を網羅的に理解するために,サブグラフ法のようなアンサンブル学習を提案する。
また, 効率的かつ効果的な対位学習を実現するために, ヘッドテールコントラストサンプル構築法を提案する。
論文 参考訳（メタデータ） (2021-03-24T12:06:12Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。