論文の概要: UGMAE: A Unified Framework for Graph Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2402.08023v1
• Date: Mon, 12 Feb 2024 19:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 17:41:49.673635
• Title: UGMAE: A Unified Framework for Graph Masked Autoencoders
• Title（参考訳）: ugmae:グラフマスクオートエンコーダのための統一フレームワーク
• Authors: Yijun Tian, Chuxu Zhang, Ziyi Kou, Zheyuan Liu, Xiangliang Zhang, Nitesh V. Chawla
• Abstract要約: グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
• 参考スコア（独自算出の注目度）: 67.75493040186859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative self-supervised learning on graphs, particularly graph masked autoencoders, has emerged as a popular learning paradigm and demonstrated its efficacy in handling non-Euclidean data. However, several remaining issues limit the capability of existing methods: 1) the disregard of uneven node significance in masking, 2) the underutilization of holistic graph information, 3) the ignorance of semantic knowledge in the representation space due to the exclusive use of reconstruction loss in the output space, and 4) the unstable reconstructions caused by the large volume of masked contents. In light of this, we propose UGMAE, a unified framework for graph masked autoencoders to address these issues from the perspectives of adaptivity, integrity, complementarity, and consistency. Specifically, we first develop an adaptive feature mask generator to account for the unique significance of nodes and sample informative masks (adaptivity). We then design a ranking-based structure reconstruction objective joint with feature reconstruction to capture holistic graph information and emphasize the topological proximity between neighbors (integrity). After that, we present a bootstrapping-based similarity module to encode the high-level semantic knowledge in the representation space, complementary to the low-level reconstruction in the output space (complementarity). Finally, we build a consistency assurance module to provide reconstruction objectives with extra stabilized consistency targets (consistency). Extensive experiments demonstrate that UGMAE outperforms both contrastive and generative state-of-the-art baselines on several tasks across multiple datasets.
• Abstract（参考訳）: グラフ上の生成的自己教師型学習、特にグラフマスク付きオートエンコーダは、一般的な学習パラダイムとして現れ、非ユークリッドデータを扱う上での有効性を示した。 しかし、残っているいくつかの問題は既存のメソッドの能力を制限する。 1)マスキングにおける不均一ノードの重要性の無視 2) 全体性グラフ情報の未利用化 3)出力空間における再構成損失の排他的利用による表現空間の意味知識の無知,及び 4) マスキングコンテンツの大量発生による不安定な再構築。 そこで我々は,これらの問題に適応性,整合性,相補性,整合性の観点から対処するための,グラフマスク付きオートエンコーダの統一フレームワークであるUGMAEを提案する。 具体的には,ノードとサンプル情報マスク(適応性)のユニークな意義を考慮した適応型特徴マスク生成器を開発した。 次に,特徴再構成を併用したランキングベース構造再構築目標関節を設計し,全体性グラフ情報を捕捉し,隣人間の位相的近接性(積分性)を強調する。 その後、表現空間における高レベル意味知識をエンコードするブートストラップベースの類似性モジュールを提示し、出力空間における低レベル再構成(補完性)を補完する。 最後に、さらに安定化した一貫性目標(一貫性)を持つ再構築目標を提供するための一貫性保証モジュールを構築する。 広範な実験により、ugmaeは複数のデータセットにまたがる複数のタスクのコントラストベースラインとジェネレーティブな最先端ベースラインの両方よりも優れていることが示されている。

関連論文リスト

• Mesh Denoising Transformer [104.5404564075393]
  Mesh Denoisingは、入力メッシュからノイズを取り除き、特徴構造を保存することを目的としている。 SurfaceFormerはTransformerベースのメッシュDenoisingフレームワークのパイオニアだ。 局所曲面記述子(Local Surface Descriptor)として知られる新しい表現は、局所幾何学的複雑さをキャプチャする。 Denoising Transformerモジュールは、マルチモーダル情報を受信し、効率的なグローバル機能アグリゲーションを実現する。
  論文  参考訳（メタデータ） (2024-05-10T15:27:43Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• RARE: Robust Masked Graph Autoencoder [45.485891794905946]
  Masked graph autoencoder (MGAE) は、有望な自己教師付きグラフ事前学習(SGP)パラダイムとして登場した。 本稿では,ロバストmAsked gRaph autoEncoder (RARE) と呼ばれる新しいSGP手法を提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:35:29Z)
• GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
  Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。 我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。 提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
  論文  参考訳（メタデータ） (2022-12-06T14:32:55Z)
• Heterogeneous Graph Masked Autoencoders [27.312282694217462]
  異種グラフ上でのSSL生成問題について検討し,これらの課題に対処するためにHGMAEを提案する。 HGMAEは、2つの革新的なマスキング技術と3つのユニークなトレーニング戦略を通じて、包括的なグラフ情報をキャプチャする。 特にメタパスマスキングと動的マスキングを用いた適応属性マスキングを開発し、不均一グラフの有効かつ安定した学習を可能にする。
  論文  参考訳（メタデータ） (2022-08-21T20:33:05Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。