論文の概要: GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction

• arxiv url: http://arxiv.org/abs/2308.09663v1
• Date: Fri, 18 Aug 2023 16:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 12:28:28.076868
• Title: GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction
• Title（参考訳）: gigamae:コラボレーティブな潜在空間再構成によるグラフマスク付きオートエンコーダ
• Authors: Yucheng Shi, Yushun Dong, Qiaoyu Tan, Jundong Li, Ninghao Liu
• Abstract要約: マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
• 参考スコア（独自算出の注目度）: 76.35904458027694
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-supervised learning with masked autoencoders has recently gained popularity for its ability to produce effective image or textual representations, which can be applied to various downstream tasks without retraining. However, we observe that the current masked autoencoder models lack good generalization ability on graph data. To tackle this issue, we propose a novel graph masked autoencoder framework called GiGaMAE. Different from existing masked autoencoders that learn node presentations by explicitly reconstructing the original graph components (e.g., features or edges), in this paper, we propose to collaboratively reconstruct informative and integrated latent embeddings. By considering embeddings encompassing graph topology and attribute information as reconstruction targets, our model could capture more generalized and comprehensive knowledge. Furthermore, we introduce a mutual information based reconstruction loss that enables the effective reconstruction of multiple targets. This learning objective allows us to differentiate between the exclusive knowledge learned from a single target and common knowledge shared by multiple targets. We evaluate our method on three downstream tasks with seven datasets as benchmarks. Extensive experiments demonstrate the superiority of GiGaMAE against state-of-the-art baselines. We hope our results will shed light on the design of foundation models on graph-structured data. Our code is available at: https://github.com/sycny/GiGaMAE.
• Abstract（参考訳）: マスク付きオートエンコーダを用いた自己教師型学習は、近年、効果的な画像やテキスト表現を生成する能力で人気を集めている。 しかし,現在のマスキングオートエンコーダモデルでは,グラフデータの一般化が不十分である。 そこで本稿では,gigamaeと呼ばれるグラフマスク自動エンコーダフレームワークを提案する。 本稿では,ノード表現を学習する既存のマスク付きオートエンコーダと異なり,従来のグラフコンポーネント(例えば,特徴やエッジ)を明示的に再構成し,情報的,統合的な潜伏埋め込みを協調的に再構築することを提案する。 グラフトポロジーと属性情報を再構成対象として包含する埋め込みを考慮すれば,より汎用的で包括的な知識を得ることができる。 さらに,複数のターゲットを効果的に再構築できる相互情報に基づく再構築損失を導入する。 この学習目標により、単一の目標から学習した排他的知識と、複数の目標が共有する共通知識とを区別することができる。 提案手法は,7つのデータセットをベンチマークとして,3つのダウンストリームタスクで評価する。 大規模な実験は、最先端のベースラインに対するGiGaMAEの優位性を実証している。 結果がグラフ構造化データの基礎モデルの設計に光を当てることを願っています。 私たちのコードは、https://github.com/sycny/GiGaMAE.comで利用可能です。

関連論文リスト

• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
  本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。 我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。 その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
  論文  参考訳（メタデータ） (2022-05-22T11:57:08Z)
• What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders [32.42097625708298]
  MaskGAEはグラフ構造化データのための自己教師型学習フレームワークである。 MGMは原則化されたプリテキストタスクであり、エッジの一部を隠蔽し、部分的に可視で、マスキングされていないグラフ構造で欠落した部分を再構築しようとする。 我々は,GAEとコントラスト学習の密接な関係を確立し,MGMがGAEの自己教師型学習方式を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-05-20T09:45:57Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。