論文の概要: Dirichlet Energy Enhancement of Graph Neural Networks by Framelet Augmentation

• arxiv url: http://arxiv.org/abs/2311.05767v1
• Date: Thu, 9 Nov 2023 22:22:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 16:36:53.344190
• Title: Dirichlet Energy Enhancement of Graph Neural Networks by Framelet Augmentation
• Title（参考訳）: フレームレット増強によるグラフニューラルネットワークのディリクレエネルギー向上
• Authors: Jialin Chen, Yuelin Wang, Cristian Bodnar, Rex Ying, Pietro Lio, Yu Guang Wang
• Abstract要約: 我々は、ディリクレエネルギーの分析にフレームレットシステムを導入し、ディリクレエネルギーを活用するためにマルチスケールの視点を採る。 そこで我々は,エネルギ・エンハンスメント・コンボリューション(EEConv)を設計する。 実験により、EEConvを用いたディープGNNは、さまざまなノード分類データセットに対して最先端のパフォーマンスを達成することが示された。
• 参考スコア（独自算出の注目度）: 19.56268823452656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutions have been a pivotal element in learning graph representations. However, recursively aggregating neighboring information with graph convolutions leads to indistinguishable node features in deep layers, which is known as the over-smoothing issue. The performance of graph neural networks decays fast as the number of stacked layers increases, and the Dirichlet energy associated with the graph decreases to zero as well. In this work, we introduce a framelet system into the analysis of Dirichlet energy and take a multi-scale perspective to leverage the Dirichlet energy and alleviate the over-smoothing issue. Specifically, we develop a Framelet Augmentation strategy by adjusting the update rules with positive and negative increments for low-pass and high-passes respectively. Based on that, we design the Energy Enhanced Convolution (EEConv), which is an effective and practical operation that is proved to strictly enhance Dirichlet energy. From a message-passing perspective, EEConv inherits multi-hop aggregation property from the framelet transform and takes into account all hops in the multi-scale representation, which benefits the node classification tasks over heterophilous graphs. Experiments show that deep GNNs with EEConv achieve state-of-the-art performance over various node classification datasets, especially for heterophilous graphs, while also lifting the Dirichlet energy as the network goes deeper.
• Abstract（参考訳）: グラフ畳み込みはグラフ表現を学ぶ上で重要な要素である。 しかし、グラフ畳み込みで隣り合う情報を再帰的に集約すると、深い層で区別できないノードの特徴が生じる。 グラフニューラルネットワークの性能は、積み重ねられた層の数が増えるにつれて急速に低下し、グラフに関連するディリクレエネルギーも0に減少する。 本研究では,ディリクレエネルギーの分析にフレームレットシステムを導入し,ディリクレエネルギーを活用し,過度なスムーシング問題を緩和する多面的な視点で検討する。 具体的には,低パスと高パスの更新ルールを正および負の増分で調整し,フレームレット拡張戦略を開発する。 そこで我々は, ディリクレエネルギーを厳格に増強することが証明された実効的かつ実用的なEnergy Enhanced Convolution (EEConv) を設計する。 メッセージパッシングの観点から、EEConvはフレームレット変換からマルチホップアグリゲーション特性を継承し、マルチスケール表現のすべてのホップを考慮に入れ、異種グラフ上のノード分類タスクの恩恵を受ける。 実験により、EEConvを持つディープGNNは、様々なノード分類データセット、特に異種グラフに対して最先端のパフォーマンスを達成し、ネットワークが深まるにつれてディリクレエネルギーを引き上げていることが示された。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• A Theoretical Formulation of Many-body Message Passing Neural Networks [0.0]
  我々は高次ノード相互作用をモデル化する多体メッセージパッシングニューラルネットワーク(MPNN)フレームワークを提案する。 グローバルエッジリッチ曲率で重み付けしたモチーフラプラシアンに局所化スペクトルフィルタを適用した。 我々は、我々の定式化が隣接ノード置換に不変であることを証明し、その感度境界を導出し、学習されたグラフポテンシャルの範囲を束縛する。
  論文  参考訳（メタデータ） (2024-07-16T14:18:48Z)
• Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
  グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。 本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。 提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-06T05:00:31Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
  非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。 非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。 グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
  論文  参考訳（メタデータ） (2023-05-22T14:52:33Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。