論文の概要: GraphMAE: Self-Supervised Masked Graph Autoencoders

• arxiv url: http://arxiv.org/abs/2205.10803v1
• Date: Sun, 22 May 2022 11:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 19:26:39.534601
• Title: GraphMAE: Self-Supervised Masked Graph Autoencoders
• Title（参考訳）: GraphMAE: 自己監督型マスクグラフオートエンコーダ
• Authors: Zhenyu Hou, Xiao Liu, Yuxiao Dong, Hongxia yang, Chunjie Wang, Jie Tang
• Abstract要約: 本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。 我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。 その結果,GraphMAEは簡単なグラフオートエンコーダであり,設計を慎重に行うことで,コントラストとジェネレーティブの両方のベースラインに対して連続的にパフォーマンスを向上できることがわかった。
• 参考スコア（独自算出の注目度）: 51.61624480060821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has been extensively explored in recent years. Particularly, generative SSL has seen emerging success in natural language processing and other fields, such as the wide adoption of BERT and GPT. Despite this, contrastive learning-which heavily relies on structural data augmentation and complicated training strategies-has been the dominant approach in graph SSL, while the progress of generative SSL on graphs, especially graph autoencoders (GAEs), has thus far not reached the potential as promised in other fields. In this paper, we identify and examine the issues that negatively impact the development of GAEs, including their reconstruction objective, training robustness, and error metric. We present a masked graph autoencoder GraphMAE that mitigates these issues for generative self-supervised graph learning. Instead of reconstructing structures, we propose to focus on feature reconstruction with both a masking strategy and scaled cosine error that benefit the robust training of GraphMAE. We conduct extensive experiments on 21 public datasets for three different graph learning tasks. The results manifest that GraphMAE-a simple graph autoencoder with our careful designs-can consistently generate outperformance over both contrastive and generative state-of-the-art baselines. This study provides an understanding of graph autoencoders and demonstrates the potential of generative self-supervised learning on graphs.
• Abstract（参考訳）: 自己教師付き学習(SSL)は近年広く研究されている。 特に、生成的なSSLは、自然言語処理やBERTやGPTの普及など、他の分野でも成功を収めている。 それにもかかわらず、構造的データ拡張と複雑なトレーニング戦略に大きく依存する対照的な学習は、グラフSSLにおいて支配的なアプローチであり、グラフ上の生成的SSLの進歩、特にグラフオートエンコーダ(GAE)は、他の分野で約束されているようなポテンシャルに達していない。 本稿では,GAEの再生目標,トレーニング堅牢性,エラーメトリクスなど,GAEの発達に悪影響を及ぼす問題を特定し,検討する。 本稿では,生成的自己教師付きグラフ学習におけるこれらの問題を緩和するマスクグラフオートエンコーダグラフメイを提案する。 構造を再構築する代わりに,GraphMAEの堅牢なトレーニングに役立つマスキング戦略とスケールドコサインエラーの両方による特徴再構成に着目することを提案する。 3つの異なるグラフ学習タスクに対して,21の公開データセットについて広範な実験を行う。 その結果,GraphMAEは簡単なグラフオートエンコーダであり,設計を慎重に行うことで,コントラストとジェネレーティブの両ベースラインにおけるパフォーマンスを常に向上させることができることがわかった。 本研究では,グラフオートエンコーダの理解と,グラフ上での自己教師型学習の可能性を示す。

関連論文リスト

• Informative Subgraphs Aware Masked Auto-Encoder in Dynamic Graphs [1.3571543090749625]
  本稿では,動的グラフの進化を導く情報サブグラフを生成するための制約付き確率的生成モデルを提案する。 DyGISによって同定された情報サブグラフは、動的グラフマスキングオートエンコーダ(DGMAE)の入力として機能する。
  論文  参考訳（メタデータ） (2024-09-14T02:16:00Z)
• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Towards Graph Contrastive Learning: A Survey and Beyond [23.109430624817637]
  グラフ上の自己教師型学習(SSL)が注目され、大きな進歩を遂げている。 SSLは、未ラベルのグラフデータから情報表現を生成する機械学習モデルを可能にする。 グラフコントラスト学習(GCL)は既存の文献では十分に研究されていない。
  論文  参考訳（メタデータ） (2024-05-20T08:19:10Z)
• GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
  グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。 既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。 グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:29:42Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Self-Supervised Learning: A Survey [73.86209411547183]
  SSL(Self-supervised Learning)は、グラフデータの有望でトレンドの学習パラダイムとなっています。 グラフデータにSSL技術を用いた既存のアプローチをタイムリーかつ包括的にレビューします。
  論文  参考訳（メタデータ） (2021-02-27T03:04:21Z)
• Unsupervised Graph Embedding via Adaptive Graph Learning [85.28555417981063]
  グラフオートエンコーダ(GAE)は、グラフ埋め込みのための表現学習において強力なツールである。 本稿では,2つの新しい教師なしグラフ埋め込み法,適応グラフ学習(BAGE)による教師なしグラフ埋め込み,変分適応グラフ学習(VBAGE)による教師なしグラフ埋め込みを提案する。 いくつかのデータセットに関する実験的研究により、我々の手法がノードクラスタリング、ノード分類、グラフ可視化タスクにおいて、ベースラインよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2020-03-10T02:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。