論文の概要: Rethinking Graph Masked Autoencoders through Alignment and Uniformity
- arxiv url: http://arxiv.org/abs/2402.07225v1
- Date: Sun, 11 Feb 2024 15:21:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 16:41:09.666957
- Title: Rethinking Graph Masked Autoencoders through Alignment and Uniformity
- Title（参考訳）: 配向と均一性によるグラフマスク付きオートエンコーダの再考
- Authors: Liang Wang, Xiang Tao, Qiang Liu, Shu Wu, Liang Wang
- Abstract要約: グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。
グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
- 参考スコア（独自算出の注目度）: 26.86368034133612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning on graphs can be bifurcated into contrastive and
generative methods. Contrastive methods, also known as graph contrastive
learning (GCL), have dominated graph self-supervised learning in the past few
years, but the recent advent of graph masked autoencoder (GraphMAE) rekindles
the momentum behind generative methods. Despite the empirical success of
GraphMAE, there is still a dearth of theoretical understanding regarding its
efficacy. Moreover, while both generative and contrastive methods have been
shown to be effective, their connections and differences have yet to be
thoroughly investigated. Therefore, we theoretically build a bridge between
GraphMAE and GCL, and prove that the node-level reconstruction objective in
GraphMAE implicitly performs context-level GCL. Based on our theoretical
analysis, we further identify the limitations of the GraphMAE from the
perspectives of alignment and uniformity, which have been considered as two key
properties of high-quality representations in GCL. We point out that GraphMAE's
alignment performance is restricted by the masking strategy, and the uniformity
is not strictly guaranteed. To remedy the aforementioned limitations, we
propose an Alignment-Uniformity enhanced Graph Masked AutoEncoder, named
AUG-MAE. Specifically, we propose an easy-to-hard adversarial masking strategy
to provide hard-to-align samples, which improves the alignment performance.
Meanwhile, we introduce an explicit uniformity regularizer to ensure the
uniformity of the learned representations. Experimental results on benchmark
datasets demonstrate the superiority of our model over existing
state-of-the-art methods.
- Abstract（参考訳）: グラフ上の自己教師付き学習は、対比的および生成的手法に分岐することができる。
グラフ・コントラッシブ・ラーニング(GCL)としても知られるコントラスト法は、ここ数年でグラフ自己教師型学習を支配してきたが、グラフマスキング・オートエンコーダ(GraphMAE)の近年の出現により、生成法の背後にある勢いが再燃している。
GraphMAEの実証的な成功にもかかわらず、その有効性に関する理論的理解はいまだに不足している。
さらに, 生成法とコントラスト法の両方が有効であることが示されているが, 関連性や相違点については, 十分に調査されていない。
そこで、理論的にGraphMAEとGCLのブリッジを構築し、GraphMAEのノードレベルの再構成目的が暗黙的にコンテキストレベルのGCLを実行することを証明した。
この理論解析に基づき, gclにおける高品質表現の2つの重要な特性として考えられてきたアライメントと一様性の観点から, グラフメイの限界をさらに同定する。
graphmaeのアライメント性能はマスキング戦略によって制限されており、一様性が厳密に保証されていないことを指摘した。
上記の制限を解消するため,アライメントの一様性強化グラフマスク自動エンコーダ aug-mae を提案する。
具体的には,アライメント性能を向上させるための難解なサンプルを提供するための,難解な対向マスキング戦略を提案する。
一方,学習表現の一様性を保証するために,明示的な一様性正規化器を導入する。
ベンチマークデータセットによる実験結果は,既存の最先端手法よりもモデルの方が優れていることを示す。
関連論文リスト
- Preserving Node Distinctness in Graph Autoencoders via Similarity Distillation [9.395697548237333]
グラフオートエンコーダ(GAE)は、平均二乗誤差(MSE)のような距離ベースの基準に依存して入力グラフを再構築する。
単一の再構築基準にのみ依存すると 再建されたグラフの 特徴が失われる可能性がある
我々は,再構成されたグラフにおいて,必要な相違性を維持するための簡易かつ効果的な戦略を開発した。
論文 参考訳（メタデータ） (2024-06-25T12:54:35Z) - Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive
Learning [37.0788516033498]
本稿では,新しい階層型トポロジアイソモーフィズムの専門知識をグラフに組み込んだコントラスト学習を提案する。
我々は,提案手法が複数の最先端GCLモデルに対して普遍的であることを実証的に実証した。
本手法は、教師なし表現学習環境において、最先端の手法を0.23%上回る。
論文 参考訳（メタデータ） (2023-12-21T14:07:46Z) - VIGraph: Generative Self-supervised Learning for Class-Imbalanced Node Classification [9.686218058331061]
グラフデータのクラス不均衡は、ノード分類において重要な課題である。
SMOTEベースのアプローチのような既存の手法は、不均衡グラフを構築する際の限界を示す。
本稿では,変分GAEを基本モデルとする簡易かつ効果的な生成型SSL手法であるVIGraphを紹介する。
論文 参考訳（メタデータ） (2023-11-02T12:36:19Z) - Generative and Contrastive Paradigms Are Complementary for Graph
Self-Supervised Learning [56.45977379288308]
Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。
Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。
我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-24T05:06:06Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Single-Pass Contrastive Learning Can Work for Both Homophilic and
Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。
既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。
我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。
経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文 参考訳（メタデータ） (2022-11-20T07:18:56Z) - Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。
本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。
局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
論文 参考訳（メタデータ） (2022-10-17T07:16:17Z) - GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。
我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。
その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
論文 参考訳（メタデータ） (2022-05-22T11:57:08Z) - What's Behind the Mask: Understanding Masked Graph Modeling for Graph
Autoencoders [32.42097625708298]
MaskGAEはグラフ構造化データのための自己教師型学習フレームワークである。
MGMは原則化されたプリテキストタスクであり、エッジの一部を隠蔽し、部分的に可視で、マスキングされていないグラフ構造で欠落した部分を再構築しようとする。
我々は,GAEとコントラスト学習の密接な関係を確立し,MGMがGAEの自己教師型学習方式を大幅に改善することを示す。
論文 参考訳（メタデータ） (2022-05-20T09:45:57Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。
具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。
提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
論文 参考訳（メタデータ） (2020-10-27T15:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。