論文の概要: Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2404.15806v1
• Date: Wed, 24 Apr 2024 11:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-26 19:20:39.693078
• Title: Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders
• Title（参考訳）: マスクの場所:グラフマスクオートエンコーダのための構造誘導型マスキング
• Authors: Chuang Liu, Yuyao Wang, Yibing Zhan, Xueqi Ma, Dapeng Tao, Jia Wu, Wenbin Hu,
• Abstract要約: グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。 本稿では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。 我々のStructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルより優れています。
• 参考スコア（独自算出の注目度）: 43.53816382180551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph masked autoencoders (GMAE) have emerged as a significant advancement in self-supervised pre-training for graph-structured data. Previous GMAE models primarily utilize a straightforward random masking strategy for nodes or edges during training. However, this strategy fails to consider the varying significance of different nodes within the graph structure. In this paper, we investigate the potential of leveraging the graph's structural composition as a fundamental and unique prior in the masked pre-training process. To this end, we introduce a novel structure-guided masking strategy (i.e., StructMAE), designed to refine the existing GMAE models. StructMAE involves two steps: 1) Structure-based Scoring: Each node is evaluated and assigned a score reflecting its structural significance. Two distinct types of scoring manners are proposed: predefined and learnable scoring. 2) Structure-guided Masking: With the obtained assessment scores, we develop an easy-to-hard masking strategy that gradually increases the structural awareness of the self-supervised reconstruction task. Specifically, the strategy begins with random masking and progresses to masking structure-informative nodes based on the assessment scores. This design gradually and effectively guides the model in learning graph structural information. Furthermore, extensive experiments consistently demonstrate that our StructMAE method outperforms existing state-of-the-art GMAE models in both unsupervised and transfer learning tasks. Codes are available at https://github.com/LiuChuang0059/StructMAE.
• Abstract（参考訳）: グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。 これまでのGMAEモデルは、トレーニング中にノードやエッジに対して単純なランダムマスキング戦略を主に利用していた。 しかし、この戦略はグラフ構造内の異なるノードの異なる重要性を考慮できない。 本稿では,マスク付き事前学習プロセスにおいて,グラフの構造組成を基本的かつ一意的に活用する可能性について検討する。 そこで本研究では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。 StructMAEには2つのステップがある。 1) 構造に基づくスコア付け: 各ノードが評価され,その構造的意義を反映したスコアが割り当てられる。 事前定義と学習可能なスコアリングの2つの異なる種類のスコアリング方法が提案されている。 2) 構造誘導型マスキング: 得られた評価スコアを用いて, 自己指導型再建作業の構造意識を徐々に向上させる, 容易かつハードなマスキング戦略を開発する。 特に、この戦略はランダムマスキングから始まり、アセスメントスコアに基づいて、構造非形式ノードをマスキングする。 この設計は、グラフ構造情報の学習においてモデルを徐々に効果的に導く。 さらに、StructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルよりも優れていることを一貫して実証している。 コードはhttps://github.com/LiuChuang0059/StructMAEで入手できる。

関連論文リスト

• Graph Masked Language Models [0.0]
  言語モデル (LM) とグラフニューラルネットワーク (GNN) はそれぞれの分野で大きな可能性を示している。 EmphGraph Masked Language Models (GMLM) は、GNNの構造学習と事前訓練された言語モデルの文脈パワーを組み合わせた、新しい二重ブランチアーキテクチャである。
  論文  参考訳（メタデータ） (2025-02-24T07:44:01Z)
• Graph Self-Supervised Learning with Learnable Structural and Positional Encodings [39.20899720477907]
  我々は、$k$-hopメッセージパッシングスキームを統合したGNNフレームワークであるemphGenHopNetを紹介する。 また,学習過程全体を通してトポロジ的情報を組み込んだ構造的および位置対応GSSLフレームワークを提案する。 我々の研究は、類似の局所構造を持つグラフと異なるグローバルトポロジを持つグラフを区別するGSSLの能力を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-02-22T14:10:06Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Structure-aware Domain Knowledge Injection for Large Language Models [37.089378357827826]
  本稿では,基礎言語モデル(LLM)をドメインスペシャリストに効率的に変換する手法であるStructTuningを紹介する。 従来の知識注入性能の50%を達成しながら、トレーニングコーパスの要求をわずか0.3%まで大幅に削減する。 本手法は,MMedBench の最先端 MMedLM2 に対して,トレーニングコストが5% に大幅に削減される可能性を示した。
  論文  参考訳（メタデータ） (2024-07-23T12:38:48Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。