論文の概要: Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders
- arxiv url: http://arxiv.org/abs/2404.15806v1
- Date: Wed, 24 Apr 2024 11:11:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:20:39.693078
- Title: Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders
- Title(参考訳): マスクの場所:グラフマスクオートエンコーダのための構造誘導型マスキング
- Authors: Chuang Liu, Yuyao Wang, Yibing Zhan, Xueqi Ma, Dapeng Tao, Jia Wu, Wenbin Hu,
- Abstract要約: グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。
本稿では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。
我々のStructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルより優れています。
- 参考スコア(独自算出の注目度): 43.53816382180551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph masked autoencoders (GMAE) have emerged as a significant advancement in self-supervised pre-training for graph-structured data. Previous GMAE models primarily utilize a straightforward random masking strategy for nodes or edges during training. However, this strategy fails to consider the varying significance of different nodes within the graph structure. In this paper, we investigate the potential of leveraging the graph's structural composition as a fundamental and unique prior in the masked pre-training process. To this end, we introduce a novel structure-guided masking strategy (i.e., StructMAE), designed to refine the existing GMAE models. StructMAE involves two steps: 1) Structure-based Scoring: Each node is evaluated and assigned a score reflecting its structural significance. Two distinct types of scoring manners are proposed: predefined and learnable scoring. 2) Structure-guided Masking: With the obtained assessment scores, we develop an easy-to-hard masking strategy that gradually increases the structural awareness of the self-supervised reconstruction task. Specifically, the strategy begins with random masking and progresses to masking structure-informative nodes based on the assessment scores. This design gradually and effectively guides the model in learning graph structural information. Furthermore, extensive experiments consistently demonstrate that our StructMAE method outperforms existing state-of-the-art GMAE models in both unsupervised and transfer learning tasks. Codes are available at https://github.com/LiuChuang0059/StructMAE.
- Abstract(参考訳): グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。
これまでのGMAEモデルは、トレーニング中にノードやエッジに対して単純なランダムマスキング戦略を主に利用していた。
しかし、この戦略はグラフ構造内の異なるノードの異なる重要性を考慮できない。
本稿では,マスク付き事前学習プロセスにおいて,グラフの構造組成を基本的かつ一意的に活用する可能性について検討する。
そこで本研究では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。
StructMAEには2つのステップがある。
1) 構造に基づくスコア付け: 各ノードが評価され,その構造的意義を反映したスコアが割り当てられる。
事前定義と学習可能なスコアリングの2つの異なる種類のスコアリング方法が提案されている。
2) 構造誘導型マスキング: 得られた評価スコアを用いて, 自己指導型再建作業の構造意識を徐々に向上させる, 容易かつハードなマスキング戦略を開発する。
特に、この戦略はランダムマスキングから始まり、アセスメントスコアに基づいて、構造非形式ノードをマスキングする。
この設計は、グラフ構造情報の学習においてモデルを徐々に効果的に導く。
さらに、StructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルよりも優れていることを一貫して実証している。
コードはhttps://github.com/LiuChuang0059/StructMAEで入手できる。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。
本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。
GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
論文 参考訳(メタデータ) (2023-04-10T17:25:50Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Graph Pre-training for AMR Parsing and Generation [14.228434699363495]
AMRグラフ上でのPLMの構造認識を改善するために,グラフ自己教師訓練について検討する。
本稿では,グラフ間事前学習のための2つのグラフ自動符号化戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを紹介する。
論文 参考訳(メタデータ) (2022-03-15T12:47:00Z) - MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。
自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
論文 参考訳(メタデータ) (2022-01-07T16:48:07Z) - Self-supervised Graph-level Representation Learning with Local and
Global Structure [71.45196938842608]
自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。
GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。
モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
論文 参考訳(メタデータ) (2021-06-08T05:25:38Z) - Structural Adapters in Pretrained Language Models for AMR-to-text
Generation [59.50420985074769]
グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。
グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
論文 参考訳(メタデータ) (2021-03-16T15:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。