論文の概要: On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning

• arxiv url: http://arxiv.org/abs/2502.10818v1
• Date: Sat, 15 Feb 2025 14:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:49.703376
• Title: On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning
• Title（参考訳）: GNNにおける消滅グラディエント、過度なスムース、過度なスキャッシングについて:リカレントブリッジとグラフ学習
• Authors: Álvaro Arroyo, Alessio Gravina, Benjamin Gutteridge, Federico Barbero, Claudio Gallicchio, Xiaowen Dong, Michael Bronstein, Pierre Vandergheynst,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造を利用してノード間で情報を伝達するモデルである。 GNNの単純な状態空間の定式化は、余分な訓練可能なパラメータコストを伴わずに、過度な平滑化と過度なスキャッシングを効果的に軽減できることを示す。
• 参考スコア（独自算出の注目度）: 15.409865070022951
• License:
• Abstract: Graph Neural Networks (GNNs) are models that leverage the graph structure to transmit information between nodes, typically through the message-passing operation. While widely successful, this approach is well known to suffer from the over-smoothing and over-squashing phenomena, which result in representational collapse as the number of layers increases and insensitivity to the information contained at distant and poorly connected nodes, respectively. In this paper, we present a unified view of these problems through the lens of vanishing gradients, using ideas from linear control theory for our analysis. We propose an interpretation of GNNs as recurrent models and empirically demonstrate that a simple state-space formulation of a GNN effectively alleviates over-smoothing and over-squashing at no extra trainable parameter cost. Further, we show theoretically and empirically that (i) GNNs are by design prone to extreme gradient vanishing even after a few layers; (ii) Over-smoothing is directly related to the mechanism causing vanishing gradients; (iii) Over-squashing is most easily alleviated by a combination of graph rewiring and vanishing gradient mitigation. We believe our work will help bridge the gap between the recurrent and graph neural network literature and will unlock the design of new deep and performant GNNs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造を利用してノード間で情報を伝達するモデルである。 このアプローチは広く成功したが、過密化現象と過密化現象に悩まされることで知られており、層数が増加するにつれて表現的崩壊が生じる。 本稿では,線形制御理論の考え方を応用して,これらの問題を一元的に考察する。 本稿では、GNNを反復モデルとして解釈し、GNNの単純な状態空間の定式化が、余分な訓練可能なパラメータコストを伴わずに、過剰なスムース化と過剰なスキャッシングを効果的に軽減できることを実証的に示す。 さらに、理論的にも経験的にもそのことを示します。 (i)GNNは、いくつかのレイヤの後にも極端な勾配が消滅する傾向にある。 (二)過平化は、消滅する勾配の原因となるメカニズムに直接関係している。 (3)オーバー・スクワッシングはグラフの書き換えと勾配緩和の併用により最も容易に緩和される。 我々の研究は、リカレントニューラルネットワークとグラフニューラルネットワークの文学のギャップを埋め、新しいディープかつパフォーマンスの高いGNNの設計を解き放つのに役立つと信じています。

関連論文リスト

• Rewiring Techniques to Mitigate Oversquashing and Oversmoothing in GNNs: A Survey [0.0]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習するための強力なツールだが,その有効性は2つの重要な課題によって制約されることが多い。 オーバーキャッシング(Oversquashing) – 遠いノードからの情報の過剰な圧縮が大きな情報損失と過度なスムース化をもたらし、繰り返しメッセージパッシングの繰り返しがノード表現を均質化し、意味のある区別を隠蔽する。 本研究では,グラフトポロジを改良して情報拡散を高めることで,これらの構造的ボトルネックに対処する手法であるグラフリウィリング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-26T13:38:12Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
  ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。 最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。 我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
  論文  参考訳（メタデータ） (2023-11-27T15:51:07Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
  近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。 提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
  論文  参考訳（メタデータ） (2023-02-01T11:00:24Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• EEGNN: Edge Enhanced Graph Neural Networks [1.0246596695310175]
  そこで本研究では,このような劣化した性能現象の新たな説明法を提案する。 このような単純化は、グラフの構造情報を取得するためにメッセージパッシング層の可能性を減らすことができることを示す。 EEGNNは、提案したディリクレ混合ポアソングラフモデルから抽出した構造情報を用いて、様々なディープメッセージパスGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-08-12T15:24:55Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。