論文の概要: MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs

• arxiv url: http://arxiv.org/abs/2201.02534v1
• Date: Fri, 7 Jan 2022 16:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 15:32:04.813248
• Title: MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs
• Title（参考訳）: MGAE: グラフによる自己教師付き学習のためのマスクオートエンコーダ
• Authors: Qiaoyu Tan, Ninghao Liu, Xiao Huang, Rui Chen, Soo-Hyun Choi, Xia Hu
• Abstract要約: Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
• 参考スコア（独自算出の注目度）: 55.66953093401889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel masked graph autoencoder (MGAE) framework to perform effective learning on graph structure data. Taking insights from self-supervised learning, we randomly mask a large proportion of edges and try to reconstruct these missing edges during training. MGAE has two core designs. First, we find that masking a high ratio of the input graph structure, e.g., $70\%$, yields a nontrivial and meaningful self-supervisory task that benefits downstream applications. Second, we employ a graph neural network (GNN) as an encoder to perform message propagation on the partially-masked graph. To reconstruct the large number of masked edges, a tailored cross-correlation decoder is proposed. It could capture the cross-correlation between the head and tail nodes of anchor edge in multi-granularity. Coupling these two designs enables MGAE to be trained efficiently and effectively. Extensive experiments on multiple open datasets (Planetoid and OGB benchmarks) demonstrate that MGAE generally performs better than state-of-the-art unsupervised learning competitors on link prediction and node classification.
• Abstract（参考訳）: 本稿では,グラフ構造データに対する効果的な学習を行うための新しいマスク付きグラフオートエンコーダ(MGAE)フレームワークを提案する。 自己教師付き学習からの洞察を得て、多くのエッジをランダムにマスクし、トレーニング中に失われたエッジを再構築します。 MGAEには2つのコア設計がある。 まず、入力グラフ構造の高い比率(例えば$70\%$)をマスキングすると、ダウンストリームアプリケーションに恩恵をもたらす非自明で有意義なセルフスーパーバイザのタスクが得られます。 第2に、部分的にマス化されたグラフ上でメッセージの伝搬を行うエンコーダとしてグラフニューラルネットワーク(GNN)を用いる。 多数のマスク付きエッジを再構築するために, 整列型クロスコリレーションデコーダを提案する。 複数の粒度でアンカーエッジの頭と尾ノードの相互相関を捉えることができる。 これら2つの設計を組み合わせることで、MGAEを効率的に効果的に訓練することができる。 複数のオープンデータセット(Planetoid と OGB ベンチマーク)に対する大規模な実験は、MGAE がリンク予測とノード分類において最先端の教師なし学習競合より一般的に優れていることを示した。

関連論文リスト

• Amplify Graph Learning for Recommendation via Sparsity Completion [16.32861024767423]
  グラフ学習モデルは、協調フィルタリング(CF)ベースのレコメンデーションシステムに広くデプロイされている。 データ疎度の問題により、元の入力のグラフ構造は潜在的な肯定的な嗜好エッジを欠いている。 AGL-SC(Amplify Graph Learning framework)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T08:26:20Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• Rethinking Tokenizer and Decoder in Masked Graph Modeling for Molecules [81.05116895430375]
  マスク付きグラフモデリングは、分子グラフの自己教師付き表現学習において優れている。 サブグラフレベルのトークン化器とremaskデコーディングを備えた十分表現力のあるデコーダがエンコーダの表現学習に大きな影響を与えることを示す。 我々は,単純なGNNベースのTokenizer(SGT)と効果的な復号化戦略を備えた,新しいMGM手法SimSGTを提案する。
  論文  参考訳（メタデータ） (2023-10-23T09:40:30Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders [32.42097625708298]
  MaskGAEはグラフ構造化データのための自己教師型学習フレームワークである。 MGMは原則化されたプリテキストタスクであり、エッジの一部を隠蔽し、部分的に可視で、マスキングされていないグラフ構造で欠落した部分を再構築しようとする。 我々は,GAEとコントラスト学習の密接な関係を確立し,MGMがGAEの自己教師型学習方式を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-05-20T09:45:57Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。