論文の概要: Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2310.15523v1
• Date: Tue, 24 Oct 2023 05:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 20:30:51.942510
• Title: Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning
• Title（参考訳）: グラフ自己教師付き学習のための生成的および対比的パラダイム
• Authors: Yuxiang Wang, Xiao Yan, Chuang Hu, Fangcheng Fu, Wentao Zhang, Hao Wang, Shuo Shang, Jiawei Jiang
• Abstract要約: Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.45977379288308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For graph self-supervised learning (GSSL), masked autoencoder (MAE) follows the generative paradigm and learns to reconstruct masked graph edges or node features. Contrastive Learning (CL) maximizes the similarity between augmented views of the same graph and is widely used for GSSL. However, MAE and CL are considered separately in existing works for GSSL. We observe that the MAE and CL paradigms are complementary and propose the graph contrastive masked autoencoder (GCMAE) framework to unify them. Specifically, by focusing on local edges or node features, MAE cannot capture global information of the graph and is sensitive to particular edges and features. On the contrary, CL excels in extracting global information because it considers the relation between graphs. As such, we equip GCMAE with an MAE branch and a CL branch, and the two branches share a common encoder, which allows the MAE branch to exploit the global information extracted by the CL branch. To force GCMAE to capture global graph structures, we train it to reconstruct the entire adjacency matrix instead of only the masked edges as in existing works. Moreover, a discrimination loss is proposed for feature reconstruction, which improves the disparity between node embeddings rather than reducing the reconstruction error to tackle the feature smoothing problem of MAE. We evaluate GCMAE on four popular graph tasks (i.e., node classification, node clustering, link prediction, and graph classification) and compare with 14 state-of-the-art baselines. The results show that GCMAE consistently provides good accuracy across these tasks, and the maximum accuracy improvement is up to 3.2% compared with the best-performing baseline.
• Abstract（参考訳）: グラフ自己教師学習(GSSL)では、マスク付きオートエンコーダ(MAE)が生成パラダイムに従い、マスク付きグラフエッジやノードの機能を再構築する。 Contrastive Learning (CL)は、同じグラフの拡張ビューの類似性を最大化し、GSSLで広く使われている。 しかし、GSSLの既存の作業では、MAEとCLは別々に検討されている。 我々は、mae と cl のパラダイムが相補的であることを観察し、それらを統合するために graph contrastive masked autoencoder (gcmae) フレームワークを提案する。 具体的には、ローカルエッジやノード機能に注目して、MAEはグラフのグローバルな情報をキャプチャできず、特定のエッジや機能に敏感である。 逆にclはグラフ間の関係を考えるため、グローバル情報を抽出するのに優れている。 したがって、GCMAE に MAE ブランチと CL ブランチを装備し、2 つのブランチは共通エンコーダを共有することにより、MAE ブランチは CL ブランチによって抽出されたグローバル情報を利用することができる。 GCMAEにグローバルグラフ構造を捕捉させるため、既存の作業のようにマスクされたエッジのみでなく、隣接行列全体を再構築するように訓練する。 さらに,MAEの特徴平滑化問題に対処するため,再構成誤差を低減するのではなく,ノード埋め込み間の格差を改善する特徴再構築のための識別損失を提案する。 我々は,4つのグラフタスク(ノード分類,ノードクラスタリング,リンク予測,グラフ分類)におけるGCMAEを評価し,14の最先端ベースラインと比較した。 その結果、GCMAEはこれらのタスクに対して常に良好な精度を提供しており、最高性能のベースラインと比較して最大3.2%の精度向上が達成されている。

関連論文リスト

• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
  グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。 グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
  論文  参考訳（メタデータ） (2024-02-11T15:21:08Z)
• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders [32.42097625708298]
  MaskGAEはグラフ構造化データのための自己教師型学習フレームワークである。 MGMは原則化されたプリテキストタスクであり、エッジの一部を隠蔽し、部分的に可視で、マスキングされていないグラフ構造で欠落した部分を再構築しようとする。 我々は,GAEとコントラスト学習の密接な関係を確立し,MGMがGAEの自己教師型学習方式を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-05-20T09:45:57Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
  GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。 クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
  論文  参考訳（メタデータ） (2021-12-15T07:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。