論文の概要: Hi-GMAE: Hierarchical Graph Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2405.10642v1
• Date: Fri, 17 May 2024 09:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 16:32:42.309816
• Title: Hi-GMAE: Hierarchical Graph Masked Autoencoders
• Title（参考訳）: Hi-GMAE:階層型グラフマスケオートエンコーダ
• Authors: Chuang Liu, Zelin Yao, Yibing Zhan, Xueqi Ma, Dapeng Tao, Jia Wu, Wenbin Hu, Shirui Pan, Bo Du,
• Abstract要約: 階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
• 参考スコア（独自算出の注目度）: 90.30572554544385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Masked Autoencoders (GMAEs) have emerged as a notable self-supervised learning approach for graph-structured data. Existing GMAE models primarily focus on reconstructing node-level information, categorizing them as single-scale GMAEs. This methodology, while effective in certain contexts, tends to overlook the complex hierarchical structures inherent in many real-world graphs. For instance, molecular graphs exhibit a clear hierarchical organization in the form of the atoms-functional groups-molecules structure. Hence, the inability of single-scale GMAE models to incorporate these hierarchical relationships often leads to their inadequate capture of crucial high-level graph information, resulting in a noticeable decline in performance. To address this limitation, we propose Hierarchical Graph Masked AutoEncoders (Hi-GMAE), a novel multi-scale GMAE framework designed to handle the hierarchical structures within graphs. First, Hi-GMAE constructs a multi-scale graph hierarchy through graph pooling, enabling the exploration of graph structures across different granularity levels. To ensure masking uniformity of subgraphs across these scales, we propose a novel coarse-to-fine strategy that initiates masking at the coarsest scale and progressively back-projects the mask to the finer scales. Furthermore, we integrate a gradual recovery strategy with the masking process to mitigate the learning challenges posed by completely masked subgraphs. Diverging from the standard graph neural network (GNN) used in GMAE models, Hi-GMAE modifies its encoder and decoder into hierarchical structures. This entails using GNN at the finer scales for detailed local graph analysis and employing a graph transformer at coarser scales to capture global information. Our experiments on 15 graph datasets consistently demonstrate that Hi-GMAE outperforms 17 state-of-the-art self-supervised competitors.
• Abstract（参考訳）: Graph Masked Autoencoders (GMAE) は,グラフ構造化データの自己教師型学習手法として注目されている。 既存のGMAEモデルは、主にノードレベルの情報の再構築に重点を置いており、それらを単一スケールのGMAEとして分類している。 この方法論は特定の文脈で有効であるが、多くの実世界のグラフに固有の複雑な階層構造を見渡す傾向にある。 例えば、分子グラフは原子官能基-分子構造の形で明確な階層構造を示す。 したがって、単一スケールのGMAEモデルがこれらの階層的関係を組み込むことができないため、重要なハイレベルグラフ情報の取得が不十分になり、性能が著しく低下する。 この制限に対処するために,階層型グラフマスケッドオートエンコーダ (Hi-GMAE) を提案する。 第一に、Hi-GMAEはグラフプーリングを通じてマルチスケールグラフ階層を構築し、異なる粒度レベルにわたるグラフ構造の探索を可能にする。 そこで本研究では,これらのスケールにわたるサブグラフのマスキング均一性を確保するために,マスキングを最も粗いスケールで開始し,マスクをより微細なスケールに段階的にバックプロジェクションする,新しい粗いツーファイン戦略を提案する。 さらに、マスキングプロセスと段階的回復戦略を統合し、完全にマスキングされたサブグラフによる学習課題を軽減する。 GMAEモデルで使用される標準グラフニューラルネットワーク(GNN)から切り離され、Hi-GMAEはエンコーダとデコーダを階層構造に修正する。 これは、より詳細な局所グラフ解析のために、より微細なスケールでGNNを使用し、粗いスケールでグラフトランスフォーマーを使用してグローバル情報をキャプチャする。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。

関連論文リスト

• GraphCroc: Cross-Correlation Autoencoder for Graph Structural Reconstruction [6.817416560637197]
  グラフオートエンコーダ(GAE)はノード埋め込みからグラフ構造を再構築する。 我々はGAE表現能力を著しく向上する相互相関機構を導入する。 また、さまざまな下流タスクに適したフレキシブルエンコーダアーキテクチャをサポートする新しいGAEであるGraphCrocを提案する。
  論文  参考訳（メタデータ） (2024-10-04T12:59:45Z)
• Informative Subgraphs Aware Masked Auto-Encoder in Dynamic Graphs [1.3571543090749625]
  本稿では,動的グラフの進化を導く情報サブグラフを生成するための制約付き確率的生成モデルを提案する。 DyGISによって同定された情報サブグラフは、動的グラフマスキングオートエンコーダ(DGMAE)の入力として機能する。
  論文  参考訳（メタデータ） (2024-09-14T02:16:00Z)
• Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning [56.45977379288308]
  Masked Autoencoder (MAE)は、マスク付きグラフエッジやノード機能の再構築を学ぶ。 Contrastive Learning (CL)は、同じグラフの拡張ビュー間の類似性を最大化する。 我々は,MAE と CL を統一するグラフコントラッシブマスク付きオートエンコーダ (GCMAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T05:06:06Z)
• Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method [8.989218350080844]
  本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。 Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。 GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
  論文  参考訳（メタデータ） (2023-06-20T06:04:03Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Self-supervised Graph-level Representation Learning with Local and Global Structure [71.45196938842608]
  自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。 GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。 モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
  論文  参考訳（メタデータ） (2021-06-08T05:25:38Z)
• Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
  グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。 グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。 本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-02-20T10:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。