論文の概要: Self-supervised Semi-implicit Graph Variational Auto-encoders with Masking

• arxiv url: http://arxiv.org/abs/2301.12458v1
• Date: Sun, 29 Jan 2023 15:00:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 17:08:15.250314
• Title: Self-supervised Semi-implicit Graph Variational Auto-encoders with Masking
• Title（参考訳）: マスキングを用いた自己教師付き半単純グラフ変分オートエンコーダ
• Authors: Xiang Li, Tiandi Ye, Caihua Shan, Dongsheng Li, Ming Gao
• Abstract要約: 自己教師付き変分グラフオートエンコーダ(VGAE)のファミリに基づくSeeeGeraモデルを提案する。 SeeGeraは、エンコーダのノードと機能の両方を同時に埋め込み、デコーダのリンクと機能の両方を再構築する。 われわれは、SeeGeraと9つの最先端ライバルを比較した広範な実験を行っている。
• 参考スコア（独自算出の注目度）: 18.950919307926824
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative graph self-supervised learning (SSL) aims to learn node representations by reconstructing the input graph data. However, most existing methods focus on unsupervised learning tasks only and very few work has shown its superiority over the state-of-the-art graph contrastive learning (GCL) models, especially on the classification task. While a very recent model has been proposed to bridge the gap, its performance on unsupervised learning tasks is still unknown. In this paper, to comprehensively enhance the performance of generative graph SSL against other GCL models on both unsupervised and supervised learning tasks, we propose the SeeGera model, which is based on the family of self-supervised variational graph auto-encoder (VGAE). Specifically, SeeGera adopts the semi-implicit variational inference framework, a hierarchical variational framework, and mainly focuses on feature reconstruction and structure/feature masking. On the one hand, SeeGera co-embeds both nodes and features in the encoder and reconstructs both links and features in the decoder. Since feature embeddings contain rich semantic information on features, they can be combined with node embeddings to provide fine-grained knowledge for feature reconstruction. On the other hand, SeeGera adds an additional layer for structure/feature masking to the hierarchical variational framework, which boosts the model generalizability. We conduct extensive experiments comparing SeeGera with 9 other state-of-the-art competitors. Our results show that SeeGera can compare favorably against other state-of-the-art GCL methods in a variety of unsupervised and supervised learning tasks.
• Abstract（参考訳）: 生成グラフ自己教師学習(SSL)は,入力グラフデータを再構成することでノード表現を学習することを目的としている。 しかし、既存のほとんどの手法は教師なし学習にのみ焦点をあてており、最先端のグラフコントラスト学習(GCL)モデル、特に分類タスクよりも優れていることを示す研究はほとんどない。 ギャップを埋めるために非常に最近のモデルが提案されているが、教師なし学習タスクのパフォーマンスはまだ不明である。 本稿では,教師なしと教師なしの両方の学習課題におけるGCLモデルに対する生成グラフSSLの性能を総合的に向上させるために,自己教師付き変分グラフオートエンコーダ(VGAE)のファミリに基づくSeeeGeraモデルを提案する。 具体的には、SeeeGeraは半単純変分推論フレームワーク、階層的変分推論フレームワークを採用し、主に特徴再構成と構造/機能マスキングに焦点を当てている。 一方、SeeGeraはエンコーダのノードと機能の両方を共同で埋め込み、デコーダのリンクと機能の両方を再構築する。 機能埋め込みは機能に関する豊富なセマンティック情報を含んでいるため、ノード埋め込みと組み合わせることで、機能再構築のためのきめ細かい知識を提供することができる。 一方、SeeeGeraは階層的変動フレームワークに構造/機能マスキングのための追加レイヤを追加し、モデルの一般化性を高めます。 SeeGeraを他の9つの最先端の競合と比較する広範な実験を行っている。 その結果,SeeeGeraは教師なしおよび教師なしの学習タスクにおいて,最先端のGCL手法と良好に比較できることがわかった。

関連論文リスト

• GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
  グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。 現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。 多次元コントラスト学習によるグラフ表現埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-09-12T03:09:05Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
  GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。 クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。 GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
  論文  参考訳（メタデータ） (2021-12-15T07:28:58Z)
• AutoGCL: Automated Graph Contrastive Learning via Learnable View Generators [22.59182542071303]
  本稿では,Automated Graph Contrastive Learning (AutoGCL) という新しいフレームワークを提案する。 AutoGCLは、オート拡張戦略によって編成された学習可能なグラフビュージェネレータのセットを採用している。 半教師付き学習、教師なし学習、移動学習の実験は、グラフの対照的な学習における最先端技術よりも、我々のフレームワークの優位性を証明している。
  論文  参考訳（メタデータ） (2021-09-21T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。