論文の概要: Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors
- arxiv url: http://arxiv.org/abs/2602.15634v1
- Date: Tue, 17 Feb 2026 15:03:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-18 16:03:18.098069
- Title: Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors
- Title（参考訳）: Beyond ReLU: 分岐、過度な平凡さ、そしてトポロジカルな優先事項
- Authors: Erkan Turan, Gaspard Abel, Maysam Behmanesh, Emery Pierson, Maks Ovsjanikov,
- Abstract要約: グラフニューラルネットワーク(GNN)は、反復的なネットワークベースのメッセージパッシングを通じてノード表現を学習する。
ディープGNNは、ノードの特徴が均質で非表現的な状態に収束する過度な平滑化に悩まされる。
我々は、この表現的崩壊という問題を、Emphbifurcation理論の観点から再設定し、安定な等質な固定点への収束として過剰な平滑化を特徴づける。
- 参考スコア（独自算出の注目度）: 28.452964044443906
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graph Neural Networks (GNNs) learn node representations through iterative network-based message-passing. While powerful, deep GNNs suffer from oversmoothing, where node features converge to a homogeneous, non-informative state. We re-frame this problem of representational collapse from a \emph{bifurcation theory} perspective, characterizing oversmoothing as convergence to a stable ``homogeneous fixed point.'' Our central contribution is the theoretical discovery that this undesired stability can be broken by replacing standard monotone activations (e.g., ReLU) with a class of functions. Using Lyapunov-Schmidt reduction, we analytically prove that this substitution induces a bifurcation that destabilizes the homogeneous state and creates a new pair of stable, non-homogeneous \emph{patterns} that provably resist oversmoothing. Our theory predicts a precise, nontrivial scaling law for the amplitude of these emergent patterns, which we quantitatively validate in experiments. Finally, we demonstrate the practical utility of our theory by deriving a closed-form, bifurcation-aware initialization and showing its utility in real benchmark experiments.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、反復的なネットワークベースのメッセージパッシングを通じてノード表現を学習する。
強力ではあるが、深いGNNは、ノードの特徴が均質で非形式的な状態に収束する過密化に悩まされる。
我々は、この表現的崩壊の問題を \emph{bifurcation theory} の観点から再設定し、安定な ``均一な不動点への収束として過剰な平滑化を特徴づける。
我々の中心的な貢献は、標準的なモノトン活性化(例えば、ReLU)を関数のクラスに置き換えることで、この望ましくない安定性を破ることができるという理論的な発見である。
Lyapunov-Schmidt還元を用いて、この置換が同質状態の不安定化を誘導する分岐を解析的に証明し、安定で非均一な新しいペアである \emph{patterns} を生成する。
我々の理論は、これらの創発パターンの振幅に対する正確で非自明なスケーリング法則を予測し、実験で定量的に検証する。
最後に,閉形式の分岐型初期化を導出し,実ベンチマーク実験で実効性を示すことにより,本理論の実用性を実証する。
関連論文リスト
- Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳（メタデータ） (2025-12-31T12:08:29Z) - From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference [0.12183405753834557]
半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する
本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
論文 参考訳（メタデータ） (2025-12-05T19:26:25Z) - Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning [0.22399170518036912]
活性化関数はニューラルネットワークの表現性と安定性を制御している。
9次元積分シグネチャS_sigma(phi)を用いた厳密な分類フレームワークを提案する。
我々のフレームワークは、原則化された設計指針、試行錯誤から証明可能な安定性とカーネル条件へのアクティベーション選択を移動させる。
論文 参考訳（メタデータ） (2025-10-09T17:03:00Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。
すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
論文 参考訳（メタデータ） (2023-08-31T15:22:31Z) - Analysis of Graph Neural Networks with Theory of Markov Chains [2.017675281820044]
我々は,GNN研究において重要な問題であるエンフェーバー平滑化について研究する。
演算子一貫性GNNはマルコフ的意味で指数速度で過度に平滑化を回避できないという結論を下す。
ニューラルネットワークのトレーニングに柔軟に追加できる正規化項を提案する。
論文 参考訳（メタデータ） (2022-11-12T08:03:57Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳（メタデータ） (2021-10-12T18:12:23Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳（メタデータ） (2021-10-10T04:37:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。