論文の概要: GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner

• arxiv url: http://arxiv.org/abs/2304.04779v1
• Date: Mon, 10 Apr 2023 17:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-04-12 17:25:12.639845
• Title: GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner
• Title（参考訳）: GraphMAE2: 自己監視型グラフ学習器
• Authors: Zhenyu Hou, Yufei He, Yukuo Cen, Xiao Liu, Yuxiao Dong, Evgeny Kharlamov, Jie Tang
• Abstract要約: マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
• 参考スコア（独自算出の注目度）: 28.321233121613112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph self-supervised learning (SSL), including contrastive and generative approaches, offers great potential to address the fundamental challenge of label scarcity in real-world graph data. Among both sets of graph SSL techniques, the masked graph autoencoders (e.g., GraphMAE)--one type of generative method--have recently produced promising results. The idea behind this is to reconstruct the node features (or structures)--that are randomly masked from the input--with the autoencoder architecture. However, the performance of masked feature reconstruction naturally relies on the discriminability of the input features and is usually vulnerable to disturbance in the features. In this paper, we present a masked self-supervised learning framework GraphMAE2 with the goal of overcoming this issue. The idea is to impose regularization on feature reconstruction for graph SSL. Specifically, we design the strategies of multi-view random re-mask decoding and latent representation prediction to regularize the feature reconstruction. The multi-view random re-mask decoding is to introduce randomness into reconstruction in the feature space, while the latent representation prediction is to enforce the reconstruction in the embedding space. Extensive experiments show that GraphMAE2 can consistently generate top results on various public datasets, including at least 2.45% improvements over state-of-the-art baselines on ogbn-Papers100M with 111M nodes and 1.6B edges.
• Abstract（参考訳）: グラフ自己教師型学習(SSL)は、対照的で生成的なアプローチを含む、現実世界のグラフデータにおけるラベル不足という根本的な課題に対処する大きな可能性を提供する。 両方のグラフSSL技術のうち、マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、近ごろ有望な結果を生み出した。 背景にあるアイデアは、入力からランダムにマスクされたノードの機能(あるいは構造)をオートエンコーダアーキテクチャで再構築することだ。 しかし,マスク特徴復元の性能は入力特徴の識別性に依存し,通常,特徴の干渉に対して脆弱である。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 その考え方は、グラフSSLの機能再構成を規則化することにある。 具体的には,マルチビューのランダム再マスクデコードと潜在表現予測の戦略をデザインし,特徴の再構成を定式化する。 マルチビューランダム再マスク復号は特徴空間の再構成にランダム性を導入することであり、潜在表現予測は埋め込み空間の再構成を強制することである。 大規模な実験によると、GraphMAE2は、さまざまな公開データセット上で、少なくとも2.45%改善されたogbn-Papers100Mの1100万ノードと1.6Bエッジを含む、トップ結果を一貫して生成可能である。

関連論文リスト

• CIMAGE: Exploiting the Conditional Independence in Masked Graph Auto-encoders [3.700463358780727]
  条件付き独立性(CI)は本質的に最小冗長性と最大関連基準を満たすが、その適用は通常下流ラベルへのアクセスを必要とする。 CIMAGEは、条件付き独立を利用して、潜伏空間における効果的なマスキング戦略を導出する新しいアプローチである。 我々の理論解析は,CIMAGEの新しいCI対応マスキング手法の優位性をさらに裏付けるものである。
  論文  参考訳（メタデータ） (2025-03-10T20:59:27Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• Heterogeneous Graph Masked Autoencoders [27.312282694217462]
  異種グラフ上でのSSL生成問題について検討し,これらの課題に対処するためにHGMAEを提案する。 HGMAEは、2つの革新的なマスキング技術と3つのユニークなトレーニング戦略を通じて、包括的なグラフ情報をキャプチャする。 特にメタパスマスキングと動的マスキングを用いた適応属性マスキングを開発し、不均一グラフの有効かつ安定した学習を可能にする。
  論文  参考訳（メタデータ） (2022-08-21T20:33:05Z)
• GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
  本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。 我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。 その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
  論文  参考訳（メタデータ） (2022-05-22T11:57:08Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。