論文の概要: Solving Over-Smoothing in GNNs via Nonlocal Message Passing: Algebraic Smoothing and Depth Scalability

• arxiv url: http://arxiv.org/abs/2512.08475v1
• Date: Tue, 09 Dec 2025 10:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.926145
• Title: Solving Over-Smoothing in GNNs via Nonlocal Message Passing: Algebraic Smoothing and Depth Scalability
• Title（参考訳）: 非局所メッセージパッシングによるGNNの過度な平滑化の解決:代数的平滑化と深さ拡張性
• Authors: Weiqi Guan, Junlin He,
• Abstract要約: 本稿では, 代数的平滑化を誘導し, 深さの呪いを伴わずに過度な平滑化を防止できるPost-LNに基づく新しい手法を提案する。 我々のアプローチは、より深いネットワーク(256層まで)をサポートし、パフォーマンスを改善し、追加のパラメータを必要としない。
• 参考スコア（独自算出の注目度）: 6.015898117103068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The relationship between Layer Normalization (LN) placement and the over-smoothing phenomenon remains underexplored. We identify a critical dilemma: Pre-LN architectures avoid over-smoothing but suffer from the curse of depth, while Post-LN architectures bypass the curse of depth but experience over-smoothing. To resolve this, we propose a new method based on Post-LN that induces algebraic smoothing, preventing over-smoothing without the curse of depth. Empirical results across five benchmarks demonstrate that our approach supports deeper networks (up to 256 layers) and improves performance, requiring no additional parameters. Key contributions: Theoretical Characterization: Analysis of LN dynamics and their impact on over-smoothing and the curse of depth. A Principled Solution: A parameter-efficient method that induces algebraic smoothing and avoids over-smoothing and the curse of depth. Empirical Validation: Extensive experiments showing the effectiveness of the method in deeper GNNs.
• Abstract（参考訳）: 層正規化(LN)配置と過平滑化現象との関係は未解明のままである。 プレLNアーキテクチャは過密を避けるが、深さの呪いに苦しむ一方、Post-LNアーキテクチャは深さの呪いをバイパスするが過密を経験する。 そこで本研究では, 代数的平滑化を誘導し, 深さの呪いを伴わずに過度な平滑化を防止できるPost-LNに基づく新しい手法を提案する。 5つのベンチマークによる実証的な結果は、我々のアプローチがより深いネットワーク(256層まで)をサポートし、パフォーマンスを改善し、追加のパラメータを必要としないことを示している。 主な貢献:理論的特徴:LN力学の解析と過度な平滑化と深さの呪いへの影響。 原理解: 代数的滑らか化を誘導し、過度な平滑化や深さの呪いを避けるパラメータ効率のよい方法。 Empirical Validation: より深いGNNにおける手法の有効性を示す大規模な実験。

関連論文リスト

• Curvature Learning for Generalization of Hyperbolic Neural Networks [51.888534247573894]
  ハイパーボリックニューラルネットワーク(HNN)は,階層構造を持つ実世界のデータを表現する上で,顕著な有効性を示している。 不適切な曲率により、HNNは最適以下のパラメータに収束し、全体的な性能が低下する可能性がある。 本研究では,損失景観の平滑化を図り,HNNの一般化を向上するシャープネス対応曲率学習法を提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:14:30Z)
• The Oversmoothing Fallacy: A Misguided Narrative in GNN Research [9.694010867775068]
  ディープグラフニューラルネットワーク(GNN)構築の主な障害として、オーバースムーシングが認識されている。 本稿では, 過密化の影響が過大評価され, 深層GNNアーキテクチャのさらなる探索を提唱している。
  論文  参考訳（メタデータ） (2025-06-05T05:49:12Z)
• Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks [26.9645501876559]
  グラフ伝播層の深さが8-10を超えるグラフニューラルネットワーク(GNN)の劇的な性能劣化は,過度なスムーシング現象によるものと広く考えられている。 近年の研究では、過度な平滑化がこのような性能劣化の主因ではないことが示唆されているが、理論的な観点から厳密な分析は提供されていない。 オーバー・スムーシングに対処すると考えられる様々な既存手法は、勾配のトレーニング性を実際に改善している。
  論文  参考訳（メタデータ） (2024-08-07T10:24:59Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Negative Flux Aggregation to Estimate Feature Attributions [15.411534490483495]
  セキュリティや透明性の懸念が高まる中で、ディープニューラルネットワーク(DNN)の動作を理解する必要性が高まっている。 DNNの説明可能性を高めるために,分岐とフラックスを用いた予測課題に対する入力特徴の属性を推定する。 ベクトル解析における発散定理に着想を得て,新しい負フラックス凝集法(NeFLAG)の定式化と,帰属写像を推定するための効率的な近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-17T16:19:41Z)
• Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks [8.044384641509977]
  我々は、NNのロスランドスケープが、より浅いNNの損失ランドスケープのすべての重要なポイントを「含んでいる」という、深く埋め込まれた原則を発見した。 NNの局所的な最小限は、より深いNNの厳密なサドルポイントまで持ち上げることができることを示す。 また, バッチ正規化は, 層状線形化を抑制することによって, より浅いNNから持ち上げられる臨界多様体を回避するのに役立つことを示した。
  論文  参考訳（メタデータ） (2022-05-26T11:42:44Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
  最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。 実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
  論文  参考訳（メタデータ） (2020-10-05T14:36:59Z)
• Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs [115.35745188028169]
  条件付け解析を深層ニューラルネットワーク(DNN)に拡張し,その学習力学を解明する。 バッチ正規化(BN)はトレーニングを安定させるが、時には局所的な最小値の誤った印象を与える。 我々はBNが最適化問題の階層的条件付けを改善することを実験的に観察した。
  論文  参考訳（メタデータ） (2020-02-25T11:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。