論文の概要: Persistent Gaussian Perturbations Prevent Oversmoothing in Recurrent Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2607.28185v1
• Date: Thu, 30 Jul 2026 13:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.576191
• Title: Persistent Gaussian Perturbations Prevent Oversmoothing in Recurrent Graph Neural Networks
• Title（参考訳）: リカレントグラフニューラルネットワークにおける過度なガウス摂動の防止
• Abstract要約: 伝搬ステップ毎に独立なガウスノイズを注入するグラフニューラルネットワークについて検討する。 隠れ表現が幾何学的にエルゴード的なマルコフ連鎖を形成し、一意な不変確率測度を持つことを証明する。 以上の結果から,過密症と闘うメカニズムとして,持続的摂動が根本的に異なることが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.8427946758947304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Oversmoothing is a fundamental limitation of deep graph neural networks (GNNs), where repeated message passing causes node representations to become increasingly similar, eventually collapsing toward a low-dimensional subspace. This phenomenon limits the effective depth of message-passing architectures and motivates the search for mechanisms that preserve representation diversity. In this paper, we study a recurrent graph neural network in which independent Gaussian noise is injected after every propagation step and analyze the resulting architecture as a stochastic dynamical system. Under a standard global contraction assumption on the deterministic update, we prove that the hidden representations form a geometrically ergodic Markov chain admitting a unique invariant probability measure. Our main theoretical result establishes an explicit positive lower bound on the expected stationary Dirichlet energy, proportional to both the noise variance and the spectral gap of the underlying graph. Consequently, the stationary representations cannot collapse onto the constant manifold, providing a rigorous guarantee that asymptotic oversmoothing is prevented in the sense of non-vanishing Dirichlet energy. Our analysis reveals persistent stochastic perturbations as a fundamentally different mechanism for combating oversmoothing, complementing existing deterministic approaches based on residual connections, normalization, and graph rewiring. Finally, numerical experiments on both linear and nonlinear recurrent graph neural networks closely match the theoretical predictions, illustrating the emergence of a stationary distribution and the predicted dependence of the limiting Dirichlet energy on the noise intensity.
• Abstract（参考訳）: オーバースムーシング(Oversmoothing)はディープグラフニューラルネットワーク(GNN)の基本的制限であり、繰り返しメッセージパッシングによってノード表現が徐々に類似し、最終的には低次元のサブスペースへと崩壊する。 この現象は、メッセージパッシングアーキテクチャの効果的な深さを制限し、表現多様性を保存するメカニズムの探索を動機付けている。 本稿では,伝播ステップ毎に独立なガウス雑音が注入される連続グラフニューラルネットワークについて検討し,その構造を確率力学系として解析する。 決定論的更新に関する標準的な大域的収縮仮定の下では、隠れた表現が一意な不変確率測度を許容する幾何学的エルゴード的マルコフ連鎖を形成することを証明している。 我々の主理論的結果は、基礎となるグラフのノイズ分散とスペクトルギャップの両方に比例して、期待される定常ディリクレエネルギーの明らかな正の下界を確立する。 したがって、定常表現は定数多様体に崩壊することはできず、非消滅ディリクレエネルギーの意味で漸近的過密化が防止されるという厳密な保証を与える。 本分析は, 残差接続, 正規化, グラフリウィリングに基づく既存の決定論的アプローチを補完し, 過密化と戦うための基本的なメカニズムとして, 持続的確率的摂動を明らかにした。 最後に、線形および非線形リカレントグラフニューラルネットワークの数値実験は、定常分布の出現と騒音強度に対する制限ディリクレエネルギーの予測依存性について、理論的予測と密接に一致している。

関連論文リスト

• Finite-Time Node Separation in Recurrent Graph Neural Networks with Persistent Gaussian Perturbations [2.8427946758947304]
  我々は、同じ永続ノイズアーキテクチャの補完的な有限時間解析を提供する。 まず、2つのノード表現の間に期待される2乗距離の正確な第2モーメント分解を証明した。
  論文  参考訳（メタデータ） (2026-09-12T13:06:41Z)
• Hypergraph Neural Stochastic Diffusion: An SDE Framework for Uncertainty Estimation [3.454132109056666]
  ハイパーグラフニューラルネットワークは高次関係をモデル化する強力な能力を示しているが、その予測の不確実性は未解明のままである。 既存のアプローチは主に最終的な予測から不確実性を推定するか、計算に高価なアンサンブルと推論に依存している。 ハイパーグラフ上の不確実性推定のための微分方程式フレームワークであるHypergraph Neural Diffusion(HyperNSD)を提案する。
  論文  参考訳（メタデータ） (2026-07-08T12:21:22Z)
• High-dimensional Limit of SGD for Diagonal Linear Networks [20.199898128645497]
  対角線ネットワーク上の勾配勾配は微分方程式(SDE)によって支配される連続力学によりよく近似されることを示す。 適切なパラメトリゼーションの下では、このダイナミクスは地球規模で十分に仮定され、高い確率で指数関数的に高速にゼロリスクに収束し、それらの長時間の振る舞いを完全に明示的な非漸近的記述をもたらすことが示される。
  論文  参考訳（メタデータ） (2026-05-16T22:26:59Z)
• Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation [16.628325681877556]
  初期化法におけるプルーニングは、訓練前にスパースで訓練可能なワークを発見するが、その理論的メカニズムは解明されていない。 本研究では、離散固有プルーニングをグラフトンによるグラフ極限理論に結合し、PaIマスクのグラフ極限を確立する。 i) アクティブ座標部分空間の次元にのみ依存するスパースネットワークに対する普遍近似定理と(ii) グラノン-NTK一般化の2つの基本的な理論結果が導かれる。
  論文  参考訳（メタデータ） (2026-02-06T13:02:47Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
  本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
  深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。 すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
  論文  参考訳（メタデータ） (2023-08-31T15:22:31Z)
• Dynamic Causal Explanation Based Diffusion-Variational Graph Neural Network for Spatio-temporal Forecasting [60.03169701753824]
  時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。 提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
  論文  参考訳（メタデータ） (2023-05-16T11:38:19Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。