論文の概要: Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2404.15806v1
• Date: Wed, 24 Apr 2024 11:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:20:39.693078
• Title: Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders
• Title（参考訳）: マスクの場所:グラフマスクオートエンコーダのための構造誘導型マスキング
• Authors: Chuang Liu, Yuyao Wang, Yibing Zhan, Xueqi Ma, Dapeng Tao, Jia Wu, Wenbin Hu,
• Abstract要約: グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。 本稿では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。 我々のStructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルより優れています。
• 参考スコア（独自算出の注目度）: 43.53816382180551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph masked autoencoders (GMAE) have emerged as a significant advancement in self-supervised pre-training for graph-structured data. Previous GMAE models primarily utilize a straightforward random masking strategy for nodes or edges during training. However, this strategy fails to consider the varying significance of different nodes within the graph structure. In this paper, we investigate the potential of leveraging the graph's structural composition as a fundamental and unique prior in the masked pre-training process. To this end, we introduce a novel structure-guided masking strategy (i.e., StructMAE), designed to refine the existing GMAE models. StructMAE involves two steps: 1) Structure-based Scoring: Each node is evaluated and assigned a score reflecting its structural significance. Two distinct types of scoring manners are proposed: predefined and learnable scoring. 2) Structure-guided Masking: With the obtained assessment scores, we develop an easy-to-hard masking strategy that gradually increases the structural awareness of the self-supervised reconstruction task. Specifically, the strategy begins with random masking and progresses to masking structure-informative nodes based on the assessment scores. This design gradually and effectively guides the model in learning graph structural information. Furthermore, extensive experiments consistently demonstrate that our StructMAE method outperforms existing state-of-the-art GMAE models in both unsupervised and transfer learning tasks. Codes are available at https://github.com/LiuChuang0059/StructMAE.
• Abstract（参考訳）: グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。 これまでのGMAEモデルは、トレーニング中にノードやエッジに対して単純なランダムマスキング戦略を主に利用していた。 しかし、この戦略はグラフ構造内の異なるノードの異なる重要性を考慮できない。 本稿では,マスク付き事前学習プロセスにおいて,グラフの構造組成を基本的かつ一意的に活用する可能性について検討する。 そこで本研究では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。 StructMAEには2つのステップがある。 1) 構造に基づくスコア付け: 各ノードが評価され,その構造的意義を反映したスコアが割り当てられる。 事前定義と学習可能なスコアリングの2つの異なる種類のスコアリング方法が提案されている。 2) 構造誘導型マスキング: 得られた評価スコアを用いて, 自己指導型再建作業の構造意識を徐々に向上させる, 容易かつハードなマスキング戦略を開発する。 特に、この戦略はランダムマスキングから始まり、アセスメントスコアに基づいて、構造非形式ノードをマスキングする。 この設計は、グラフ構造情報の学習においてモデルを徐々に効果的に導く。 さらに、StructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルよりも優れていることを一貫して実証している。 コードはhttps://github.com/LiuChuang0059/StructMAEで入手できる。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。