論文の概要: What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders

• arxiv url: http://arxiv.org/abs/2205.10053v2
• Date: Mon, 29 May 2023 09:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 04:18:45.852488
• Title: What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
• Title（参考訳）: マスクの背後にあるもの:グラフオートエンコーダのマスク付きグラフモデリングを理解する
• Authors: Jintang Li, Ruofan Wu, Wangbin Sun, Liang Chen, Sheng Tian, Liang Zhu, Changhua Meng, Zibin Zheng, Weiqiang Wang
• Abstract要約: MaskGAEはグラフ構造化データのための自己教師型学習フレームワークである。 MGMは原則化されたプリテキストタスクであり、エッジの一部を隠蔽し、部分的に可視で、マスキングされていないグラフ構造で欠落した部分を再構築しようとする。 我々は,GAEとコントラスト学習の密接な関係を確立し,MGMがGAEの自己教師型学習方式を大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 32.42097625708298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The last years have witnessed the emergence of a promising self-supervised learning strategy, referred to as masked autoencoding. However, there is a lack of theoretical understanding of how masking matters on graph autoencoders (GAEs). In this work, we present masked graph autoencoder (MaskGAE), a self-supervised learning framework for graph-structured data. Different from standard GAEs, MaskGAE adopts masked graph modeling (MGM) as a principled pretext task - masking a portion of edges and attempting to reconstruct the missing part with partially visible, unmasked graph structure. To understand whether MGM can help GAEs learn better representations, we provide both theoretical and empirical evidence to comprehensively justify the benefits of this pretext task. Theoretically, we establish close connections between GAEs and contrastive learning, showing that MGM significantly improves the self-supervised learning scheme of GAEs. Empirically, we conduct extensive experiments on a variety of graph benchmarks, demonstrating the superiority of MaskGAE over several state-of-the-arts on both link prediction and node classification tasks.
• Abstract（参考訳）: 過去数年間、マスク付きオートエンコーディングと呼ばれる有望な自己教師型学習戦略の出現を目撃してきた。 しかし、グラフオートエンコーダ(GAE)にマスキングがどのように重要かを理論的に理解していない。 本研究では,グラフ構造化データを対象とした自己教師型学習フレームワークMaskGAEを提案する。 標準的なGAEとは異なり、MaskGAEはマスク付きグラフモデリング(MGM)を原則的なプリテキストタスクとして採用している。 MGMがGAEのより良い表現を学べるかどうかを理解するために、我々はこの前提課題の利点を包括的に正当化する理論的証拠と経験的証拠の両方を提供する。 理論的には、GAEとコントラスト学習の密接な関係を確立し、MGMがGAEの自己教師型学習方式を著しく改善することを示す。 実験では,様々なグラフベンチマークを用いて広範囲な実験を行い,リンク予測とノード分類タスクの両方においてマスケエの優位を示す。

関連論文リスト

• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
  グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。 グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
  論文  参考訳（メタデータ） (2024-02-11T15:21:08Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• Rethinking Tokenizer and Decoder in Masked Graph Modeling for Molecules [81.05116895430375]
  マスク付きグラフモデリングは、分子グラフの自己教師付き表現学習において優れている。 サブグラフレベルのトークン化器とremaskデコーディングを備えた十分表現力のあるデコーダがエンコーダの表現学習に大きな影響を与えることを示す。 我々は,単純なGNNベースのTokenizer(SGT)と効果的な復号化戦略を備えた,新しいMGM手法SimSGTを提案する。
  論文  参考訳（メタデータ） (2023-10-23T09:40:30Z)
• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
  本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。 我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。 その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
  論文  参考訳（メタデータ） (2022-05-22T11:57:08Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。