論文の概要: Model Degradation Hinders Deep Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2206.04361v1
- Date: Thu, 9 Jun 2022 09:02:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 15:28:01.351510
- Title: Model Degradation Hinders Deep Graph Neural Networks
- Title（参考訳）: ディープグラフニューラルネットワークによるモデル劣化
- Authors: Wentao Zhang, Zeang Sheng, Ziqi Yin, Yuezihan Jiang, Yikuan Xia, Jun
Gao, Zhi Yang, Bin Cui
- Abstract要約: 本稿では、従来のグラフ畳み込み操作を、textit propagation (textbfP) と textitTransformation (textbfT) の2つの独立した操作に分離する。
GNNの性能劣化の主な原因は,巨額のD_t$によるテキストモデル劣化の問題である。
textitAdaptive Initial Residual (AIR) は,あらゆる種類のGNNアーキテクチャと互換性のあるプラグイン・アンド・プレイモジュールである。
- 参考スコア（独自算出の注目度）: 20.87387360139394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have achieved great success in various graph
mining tasks.However, drastic performance degradation is always observed when a
GNN is stacked with many layers. As a result, most GNNs only have shallow
architectures, which limits their expressive power and exploitation of deep
neighborhoods.Most recent studies attribute the performance degradation of deep
GNNs to the \textit{over-smoothing} issue. In this paper, we disentangle the
conventional graph convolution operation into two independent operations:
\textit{Propagation} (\textbf{P}) and \textit{Transformation}
(\textbf{T}).Following this, the depth of a GNN can be split into the
propagation depth ($D_p$) and the transformation depth ($D_t$). Through
extensive experiments, we find that the major cause for the performance
degradation of deep GNNs is the \textit{model degradation} issue caused by
large $D_t$ rather than the \textit{over-smoothing} issue mainly caused by
large $D_p$. Further, we present \textit{Adaptive Initial Residual} (AIR), a
plug-and-play module compatible with all kinds of GNN architectures, to
alleviate the \textit{model degradation} issue and the \textit{over-smoothing}
issue simultaneously. Experimental results on six real-world datasets
demonstrate that GNNs equipped with AIR outperform most GNNs with shallow
architectures owing to the benefits of both large $D_p$ and $D_t$, while the
time costs associated with AIR can be ignored.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,様々なグラフマイニングタスクにおいて大きな成功を収めてきたが,GNNが多くの層に積み重ねられた場合,常に劇的な性能劣化が観測される。
その結果、ほとんどのGNNは浅層構造しか持たず、その表現力と深部近傍の活用を制限しており、近年の研究は、深部GNNの性能劣化を「textit{over-smoothing}」問題に起因している。
本稿では、従来のグラフ畳み込み操作を2つの独立した演算に分解する: \textit{Propagation} (\textbf{P}) と \textit{Transformation} (\textbf{T})。
次に、GNNの深さを伝播深さ(D_p$)と変換深さ(D_t$)に分割することができる。
広範な実験を通じて、ディープgnnの性能低下の主な原因は、主に大きな$d_p$によって引き起こされる \textit{over-smoothing}問題ではなく、大きな$d_t$によって引き起こされる \textit{model degradation}問題であることが判明した。
さらに,すべてのgnnアーキテクチャと互換性のあるプラグアンドプレイモジュールである \textit{adaptive initial residual} (air) を用いて, \textit{model degradation}問題と \textit{over-smoothing}問題を同時に緩和する。
6つの実世界のデータセットによる実験結果から、AIRを備えたGNNは、大きな$D_p$と$D_t$の両方の利点により、浅いアーキテクチャを持つほとんどのGNNよりも優れた性能を示し、AIRに関連する時間コストは無視できる。
関連論文リスト
- Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach [1.4854797901022863]
本稿では,グラフの高密度領域からエッジを抽出する新鮮で柔軟なトラスグラフスペーシフィケーションモデルを提案する。
次に、GIN、SAGPool、GMT、DiffPool、MinCutPool、HGP-SL、DMonPool、AdamGNNといった最先端のベースラインGNNとプールモデルでスパーシフィケーションモデルを利用する。
論文 参考訳（メタデータ） (2024-07-16T17:21:36Z) - Spatio-Spectral Graph Neural Networks [50.277959544420455]
比スペクトルグラフネットワーク(S$2$GNN)を提案する。
S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。
S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
論文 参考訳（メタデータ） (2024-05-29T14:28:08Z) - LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。
LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。
総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
論文 参考訳（メタデータ） (2023-02-03T02:33:07Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - Decoupling the Depth and Scope of Graph Neural Networks [21.273445344654597]
最先端のグラフニューラルネットワーク(GNN)は、グラフとモデルサイズに関して、スケーラビリティに制限がある。
本稿では,GNNの深度と範囲を分離する設計原理を提案する。
我々の設計は、計算量やハードウェアコストの大幅な削減により、大幅な精度向上を実現している。
論文 参考訳（メタデータ） (2022-01-19T20:52:42Z) - Task and Model Agnostic Adversarial Attack on Graph Neural Networks [8.075575946756759]
グラフニューラルネットワーク(GNN)は、様々な予測タスクにおける印象的なパフォーマンスのため、業界内で大きな採用が見られた。
本研究では、GNNのこの側面を調査し、脆弱性を特定し、よりセキュアで堅牢なGNNの開発につながる可能性のあるグラフプロパティにリンクする。
論文 参考訳（メタデータ） (2021-12-25T18:39:21Z) - A Robust Alternative for Graph Convolutional Neural Networks via Graph
Neighborhood Filters [84.20468404544047]
グラフシフト演算子のパワーを$k$ホップ近傍行列に置き換えるグラフフィルタ群(NGF)を提案する。
NGFは、従来のGFの数値問題を緩和し、より深いGCNNの設計を可能にし、グラフのトポロジにおけるエラーに対する堅牢性を高めるのに役立つ。
論文 参考訳（メタデータ） (2021-10-02T17:05:27Z) - Evaluating Deep Graph Neural Networks [27.902290204531326]
グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。
モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。
本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
論文 参考訳（メタデータ） (2021-08-02T14:55:10Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-13T18:53:21Z) - Understanding and Resolving Performance Degradation in Graph
Convolutional Networks [105.14867349802898]
グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。
GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。
本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
論文 参考訳（メタデータ） (2020-06-12T12:12:12Z) - On the Bottleneck of Graph Neural Networks and its Practical
Implications [22.704284264177108]
グラフニューラルネットワーク(GNN)は,長い経路でメッセージを集約する場合,ボトルネックの影響を受けやすいことを示す。
このボトルネックは指数関数的に増加する情報を固定サイズのベクトルに過度に振る舞う。
GNNは、遠く離れたノードからのメッセージの伝搬に失敗し、予測タスクが長距離通信に依存する場合、性能が低下する。
論文 参考訳（メタデータ） (2020-06-09T12:04:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。