論文の概要: Backward Oversmoothing: why is it hard to train deep Graph Neural Networks?

• arxiv url: http://arxiv.org/abs/2505.16736v1
• Date: Thu, 22 May 2025 14:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.365774
• Title: Backward Oversmoothing: why is it hard to train deep Graph Neural Networks?
• Title（参考訳）: 逆向きのオーバースムーシング:なぜディープグラフニューラルネットワークをトレーニングするのが難しいのか?
• Authors: Nicolas Keriven,
• Abstract要約: オーバースムーシングは、長い間、グラフニューラルネットワーク(GNN)の大きな限界として認識されてきた。 本稿では,逆プロパゲーションエラーも出力から入力への過スモーシングの対象となるという,逆向きの過スムーシングを解析する。 後ろ向きの過密により, GNN は, 確実に多くの急激な静止点を示すことを示す。
• 参考スコア（独自算出の注目度）: 11.838934460199356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Oversmoothing has long been identified as a major limitation of Graph Neural Networks (GNNs): input node features are smoothed at each layer and converge to a non-informative representation, if the weights of the GNN are sufficiently bounded. This assumption is crucial: if, on the contrary, the weights are sufficiently large, then oversmoothing may not happen. Theoretically, GNN could thus learn to not oversmooth. However it does not really happen in practice, which prompts us to examine oversmoothing from an optimization point of view. In this paper, we analyze backward oversmoothing, that is, the notion that backpropagated errors used to compute gradients are also subject to oversmoothing from output to input. With non-linear activation functions, we outline the key role of the interaction between forward and backward smoothing. Moreover, we show that, due to backward oversmoothing, GNNs provably exhibit many spurious stationary points: as soon as the last layer is trained, the whole GNN is at a stationary point. As a result, we can exhibit regions where gradients are near-zero while the loss stays high. The proof relies on the fact that, unlike forward oversmoothing, backward errors are subjected to a linear oversmoothing even in the presence of non-linear activation function, such that the average of the output error plays a key role. Additionally, we show that this phenomenon is specific to deep GNNs, and exhibit counter-example Multi-Layer Perceptron. This paper is a step toward a more complete comprehension of the optimization landscape specific to GNNs.
• Abstract（参考訳）: 入力ノードの特徴は各層で滑らか化され、GNNの重みが十分に有界であれば非形式表現に収束する。 この仮定は決定的であり、逆に重量が十分に大きい場合、過剰なスムーシングは起こらないかもしれない。 理論的には、GNNは過度にスムースでないことを学べる。 しかし、実際には実現しないため、最適化の観点から過度にスムーシングを調べる必要がある。 本稿では,勾配の計算に使用される逆伝播誤差も,出力から入力への過スムージングの対象となるという概念を,逆向きの過スムージングを解析する。 非線型活性化関数では、前方スムーシングと後方スムーシングの相互作用の鍵となる役割を概説する。 さらに, 後方過密化により, GNNは, 最終層をトレーニングした時点で, GNN全体が静止点にあることを示す。 その結果、損失が高いまま、勾配がほぼゼロに近い地域を示すことができる。 この証明は、前方過平化とは異なり、出力誤差の平均が重要な役割を果たすような非線形活性化関数の存在下でも後方誤差が線形過平化されるという事実に依存している。 さらに,この現象は深部GNNに特有であり,反例であるMulti-Layer Perceptronを示す。 本稿では,GNNに特有の最適化環境について,より完全な理解に向けての一歩である。

関連論文リスト

• On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning [15.409865070022951]
  グラフニューラルネットワーク(GNN)は、グラフ構造を利用してノード間で情報を伝達するモデルである。 GNNの単純な状態空間の定式化は、余分な訓練可能なパラメータコストを伴わずに、過度な平滑化と過度なスキャッシングを効果的に軽減できることを示す。
  論文  参考訳（メタデータ） (2025-02-15T14:43:41Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。 本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
  論文  参考訳（メタデータ） (2023-12-11T17:43:57Z)
• Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
  ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。 最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。 我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
  論文  参考訳（メタデータ） (2023-11-27T15:51:07Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path Decomposition Perspective for Preventing the Over-smoothing [50.242926616772515]
  近年の研究では、残りの結合を持つGNNが変性をわずかに遅らせていることが示されている。 本稿では,新しい経路分解の観点からの残差接続を有するGNNの前方・後方挙動について検討する。 コールドスタート適応残差接続(DRIVE)とフィードフォワードモジュールを備えたUniversal Deep GNNsフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T14:19:45Z)
• The Exact Class of Graph Functions Generated by Graph Neural Networks [43.25172578943894]
  グラフ関数と出力が同一のグラフニューラルネットワーク(GNN)? 本稿では,この疑問に完全に答え,GNNで表現可能なグラフ問題のクラスを特徴付ける。 この条件は2次的に多くの制約をチェックすることで効率よく検証できることを示す。
  論文  参考訳（メタデータ） (2022-02-17T18:54:27Z)
• Transferability Properties of Graph Neural Networks [125.71771240180654]
  グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。 適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。 その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
  論文  参考訳（メタデータ） (2021-12-09T00:08:09Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。