論文の概要: Masked Graph Autoencoder with Non-discrete Bandwidths

• arxiv url: http://arxiv.org/abs/2402.03814v1
• Date: Tue, 6 Feb 2024 08:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 15:41:47.611505
• Title: Masked Graph Autoencoder with Non-discrete Bandwidths
• Title（参考訳）: 非離散帯域を持つマスクグラフオートエンコーダ
• Authors: Ziwen Zhao, Yuhua Li, Yixiong Zou, Jiliang Tang, Ruixuan Li
• Abstract要約: マスケードグラフオートエンコーダは、まだ十分に研究されていない強力なグラフ自己教師型学習手法として登場した。 本稿では,既存の離散エッジマスキングとバイナリリンク再構築戦略は,位相的に情報的表現を学習するには不十分であることを示す。 本稿では,帯域幅マスキングとレイヤワイド帯域幅予測の目的を用いた新しい,情報的かつ効果的なトポロジマスマスキンググラフ自動符号化手法を提案する。
• 参考スコア（独自算出の注目度）: 40.55565847640106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked graph autoencoders have emerged as a powerful graph self-supervised learning method that has yet to be fully explored. In this paper, we unveil that the existing discrete edge masking and binary link reconstruction strategies are insufficient to learn topologically informative representations, from the perspective of message propagation on graph neural networks. These limitations include blocking message flows, vulnerability to over-smoothness, and suboptimal neighborhood discriminability. Inspired by these understandings, we explore non-discrete edge masks, which are sampled from a continuous and dispersive probability distribution instead of the discrete Bernoulli distribution. These masks restrict the amount of output messages for each edge, referred to as "bandwidths". We propose a novel, informative, and effective topological masked graph autoencoder using bandwidth masking and a layer-wise bandwidth prediction objective. We demonstrate its powerful graph topological learning ability both theoretically and empirically. Our proposed framework outperforms representative baselines in both self-supervised link prediction (improving the discrete edge reconstructors by at most 20%) and node classification on numerous datasets, solely with a structure-learning pretext. Our implementation is available at https://github.com/Newiz430/Bandana.
• Abstract（参考訳）: マスケードグラフオートエンコーダは、まだ十分に研究されていない強力なグラフ自己教師学習手法として登場した。 本稿では,グラフニューラルネットワークにおけるメッセージ伝達の観点から,既存の離散エッジマスキングとバイナリリンク再構成戦略が位相的に有意な表現を学習するには不十分であることを示す。 これらの制限には、メッセージフローのブロッキング、過度なスムースネスに対する脆弱性、最適近傍識別性が含まれる。 これらの理解に触発されて、離散ベルヌーイ分布の代わりに連続分布と分散確率分布からサンプリングされる非離散エッジマスクを探索する。 これらのマスクは、各エッジに対して「バンド幅」と呼ばれる出力メッセージの量を制限する。 本稿では,帯域幅マスキングとレイヤワイド帯域幅予測を用いた新しい,情報的かつ効果的なトポロジマスマスキンググラフ自動符号化手法を提案する。 理論的にも経験的にも強力なグラフトポロジ学習能力を示す。 提案するフレームワークは,自己教師付きリンク予測(離散エッジ再構成器を最大20%改善する)と,構造学習プリテキストのみを用いた多数のデータセットのノード分類の両方において,代表的なベースラインを上回っている。 私たちの実装はhttps://github.com/newiz430/bandanaで利用可能です。

関連論文リスト

• Learning to Approximate Adaptive Kernel Convolution on Graphs [4.434835769977399]
  本稿では,拡散カーネルのスケールによって特徴集約の範囲を制御できる拡散学習フレームワークを提案する。 本モデルは,最先端データセットの性能評価のためのノードワイズ分類のための様々な標準で検証されている。 グラフ分類のための実世界の脳ネットワークデータにも検証され、アルツハイマー分類の実用性を実証している。
  論文  参考訳（メタデータ） (2024-01-22T10:57:11Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)
• Anisotropic Graph Convolutional Network for Semi-supervised Learning [7.843067454030999]
  グラフ畳み込みネットワークは、高精度な予測結果を達成するのに有用であることが証明された効率的なノード埋め込みを学習する。 これらのネットワークはグラフの過度な平滑化と縮小効果の問題に悩まされており、それはグラフの端に線形ラプラシア流を用いて拡散するからである。 本稿では,ノードからの情報的特徴を捉える非線形関数を導入し,過度なスムーシングを防止し,半教師付きノード分類のための異方性グラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T13:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。