論文の概要: Dirichlet Energy Constrained Learning for Deep Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2107.02392v1
- Date: Tue, 6 Jul 2021 05:13:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 13:44:06.704265
- Title: Dirichlet Energy Constrained Learning for Deep Graph Neural Networks
- Title(参考訳): ディープグラフニューラルネットワークのためのディリクレエネルギー制約学習
- Authors: Kaixiong Zhou, Xiao Huang, Daochen Zha, Rui Chen, Li Li, Soo-Hyun
Choi, Xia Hu
- Abstract要約: ノード埋め込みのディリクレエネルギーを利用して, ディープGNNのボトルネックを解析する。
EGNNは、新しいディープGNNフレームワークである。EGNNは設計されており、各レイヤにおけるディリクレエネルギーの低と上を制約して、過度なスムーシングを避けることができる。
- 参考スコア(独自算出の注目度): 46.913454320855095
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph neural networks (GNNs) integrate deep architectures and topological
structure modeling in an effective way. However, the performance of existing
GNNs would decrease significantly when they stack many layers, because of the
over-smoothing issue. Node embeddings tend to converge to similar vectors when
GNNs keep recursively aggregating the representations of neighbors. To enable
deep GNNs, several methods have been explored recently. But they are developed
from either techniques in convolutional neural networks or heuristic
strategies. There is no generalizable and theoretical principle to guide the
design of deep GNNs. To this end, we analyze the bottleneck of deep GNNs by
leveraging the Dirichlet energy of node embeddings, and propose a generalizable
principle to guide the training of deep GNNs. Based on it, a novel deep GNN
framework -- EGNN is designed. It could provide lower and upper constraints in
terms of Dirichlet energy at each layer to avoid over-smoothing. Experimental
results demonstrate that EGNN achieves state-of-the-art performance by using
deep layers.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、深いアーキテクチャと位相構造モデリングを効果的な方法で統合する。
しかし、既存のGNNの性能は、過度にスムーズな問題のため、多くのレイヤを積み重ねると大幅に低下する。
ノード埋め込みは、GNNが隣人の表現を再帰的に集約し続けると、同様のベクトルに収束する傾向がある。
ディープGNNを実現するために、最近いくつかの方法が検討されている。
しかし、畳み込みニューラルネットワークやヒューリスティック戦略のテクニックから開発されている。
深いGNNの設計を導く一般化可能かつ理論的原理は存在しない。
そこで我々は,ノード埋め込みのディリクレエネルギーを利用してディープGNNのボトルネックを分析し,ディープGNNのトレーニングを導くための一般化可能な原理を提案する。
これに基づいて、新しいディープGNNフレームワーク -- EGNNが設計されている。
オーバースムーシングを避けるために、各層におけるディリクレエネルギーの観点で下層と上層に制約を与えることができる。
実験結果から,EGNNは深い層を用いて最先端の性能を実現することが示された。
関連論文リスト
- Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - Understanding and Improving Deep Graph Neural Networks: A Probabilistic
Graphical Model Perspective [22.82625446308785]
グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。
本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。
我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
論文 参考訳(メタデータ) (2023-01-25T12:02:12Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。
本研究では,これらの分類におけるGNNの習熟度について検討する。
以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
論文 参考訳(メタデータ) (2022-06-13T05:15:12Z) - Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。
本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。
DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-25T06:05:55Z) - AdaGNN: A multi-modal latent representation meta-learner for GNNs based
on AdaBoosting [0.38073142980733]
グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。
GNNのための強化型メタラーナを提案する。
AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
論文 参考訳(メタデータ) (2021-08-14T03:07:26Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:06:17Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-08T02:47:38Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。