論文の概要: Understanding the Relationship between Over-smoothing and Over-squashing
in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2212.02374v1
- Date: Mon, 5 Dec 2022 15:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 15:47:14.826002
- Title: Understanding the Relationship between Over-smoothing and Over-squashing
in Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークにおけるオーバースモーシングとオーバースケーシングの関係の理解
- Authors: Jhony H. Giraldo, Fragkiskos D. Malliaros, Thierry Bouwmans
- Abstract要約: グラフニューラルネットワーク(GNN)はコンピュータ科学における多くの応用に成功している。
オーバースムーシングとオーバースキャッシングはおそらく最も興味深い問題だ。
この研究は、トポロジカルな視点から過密と過密の関係を理解することを目的としている。
- 参考スコア（独自算出の注目度）: 8.121462458089141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have been successfully applied in many
applications in computer sciences. Despite the success of deep learning
architectures in other domains, deep GNNs still underperform their shallow
counterparts. There are many open questions about deep GNNs, but over-smoothing
and over-squashing are perhaps the most intriguing issues. When stacking
multiple graph convolutional layers, the over-smoothing and over-squashing
problems arise and have been defined as the inability of GNNs to learn deep
representations and propagate information from distant nodes, respectively.
Even though the widespread definitions of both problems are similar, these
phenomena have been studied independently. This work strives to understand the
underlying relationship between over-smoothing and over-squashing from a
topological perspective. We show that both problems are intrinsically related
to the spectral gap of the Laplacian of the graph. Therefore, there is a
trade-off between these two problems, i.e., we cannot simultaneously alleviate
both over-smoothing and over-squashing. We also propose a Stochastic Jost and
Liu curvature Rewiring (SJLR) algorithm based on a bound of the Ollivier's
Ricci curvature. SJLR is less expensive than previous curvature-based rewiring
methods while retaining fundamental properties. Finally, we perform a thorough
comparison of SJLR with previous techniques to alleviate over-smoothing or
over-squashing, seeking to gain a better understanding of both problems.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)はコンピュータ科学における多くの応用に成功している。
他のドメインでのディープラーニングアーキテクチャの成功にもかかわらず、深いGNNは依然として浅いアーキテクチャよりもパフォーマンスが低い。
ディープGNNに関する多くのオープンな質問があるが、過度にスムースと過剰な議論はおそらく最も興味深い問題である。
複数のグラフ畳み込み層を積み重ねる際、オーバースムーシングとオーバースキャッシングの問題は、それぞれ遠いノードから深い表現を学習し情報を伝達するGNNのできない問題として定義される。
両問題の広範な定義は似ているが、これらの現象は独立して研究されている。
本研究は, オーバースムーシングとオーバースケーシングの関係を位相的観点から理解することを目的とする。
両問題はグラフのラプラシアンのスペクトルギャップと本質的に関係していることを示す。
したがって、この2つの問題、すなわち過密と過密の両方を同時に緩和することはできないというトレードオフがある。
また,Ollivier のリッチ曲率境界に基づく確率的Jost and Liu curvature Rewiring (SJLR)アルゴリズムを提案する。
SJLRは、基本的な特性を維持しながら、従来の曲率ベースの再配線法よりも安価である。
最後に,sjlrと従来の手法との徹底的な比較を行い,両者の問題点をよりよく理解することを目指す。
関連論文リスト
- Faster Inference Time for GNNs using coarsening [1.323700980948722]
粗い手法はグラフを小さくするために使われ、計算が高速化される。
これまでの調査では、推論中にコストに対処できなかった。
本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:27:24Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。
本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
論文 参考訳（メタデータ） (2023-12-11T17:43:57Z) - Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。
本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文 参考訳（メタデータ） (2023-09-04T10:23:39Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Distributed Graph Neural Network Training with Periodic Historical
Embedding Synchronization [9.503080586294406]
グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。
従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。
本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
論文 参考訳（メタデータ） (2022-05-31T18:44:53Z) - Graph Neural Network with Curriculum Learning for Imbalanced Node
Classification [21.085314408929058]
グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。
本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。
本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-05T10:46:11Z) - Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。
最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
論文 参考訳（メタデータ） (2021-06-15T08:50:10Z) - Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文 参考訳（メタデータ） (2021-04-26T19:31:21Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-13T18:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。