論文の概要: Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective of Operator Semigroup Theory

• arxiv url: http://arxiv.org/abs/2402.15326v2
• Date: Mon, 24 Mar 2025 11:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 17:43:38.676998
• Title: Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective of Operator Semigroup Theory
• Title（参考訳）: 拡散型GNNにおける過平滑化の理解 : 演算子半群理論の立場から
• Authors: Weichen Zhao, Chenguang Wang, Xinyan Wang, Congying Han, Tiande Guo, Tianshu Yu,
• Abstract要約: 本稿では拡散型グラフニューラルネット(GNN)における過平滑化問題の解析的研究について述べる。 過平滑化が拡散作用素のエルゴード性に本質的に関連していることを厳密に証明する。 実験結果から,このエルゴード性破壊項はディリクレエネルギーによって測定された過密化を効果的に緩和することが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.327920883065238
• License:
• Abstract: This paper presents an analytical study of the oversmoothing issue in diffusion-based Graph Neural Networks (GNNs). Generalizing beyond extant approaches grounded in random walk analysis or particle systems, we approach this problem through operator semigroup theory. This theoretical framework allows us to rigorously prove that oversmoothing is intrinsically linked to the ergodicity of the diffusion operator. Relying on semigroup method, we can quantitatively analyze the dynamic of graph diffusion and give a specific mathematical form of the smoothing feature by ergodicity and invariant measure of operator, which improves previous works only show existence of oversmoothing. This finding further poses a general and mild ergodicity-breaking condition, encompassing the various specific solutions previously offered, thereby presenting a more universal and theoretically grounded approach to relieve oversmoothing in diffusion-based GNNs. Additionally, we offer a probabilistic interpretation of our theory, forging a link with prior works and broadening the theoretical horizon. Our experimental results reveal that this ergodicity-breaking term effectively mitigates oversmoothing measured by Dirichlet energy, and simultaneously enhances performance in node classification tasks.
• Abstract（参考訳）: 本稿では,拡散型グラフニューラルネット(GNN)における過平滑化問題の解析的研究について述べる。 ランダムウォーク解析や粒子系に根ざした既存のアプローチを超えて一般化し、作用素半群理論によりこの問題にアプローチする。 この理論の枠組みは、過平滑化が拡散作用素のエルゴード性に本質的に結びついていることの厳密な証明を可能にする。 半群法を用いてグラフ拡散の力学を定量的に解析し、演算子のエルゴディディティと不変測度により滑らかな特徴の特定の数学的形式を与える。 この発見は、これまで提供されていた様々な特定の解を包含し、拡散に基づくGNNの過度な平滑化を緩和するより普遍的で理論的に基礎的なアプローチを示す、汎用的で穏やかなエルゴード性破壊状態をさらに引き起こす。 さらに、我々は我々の理論を確率論的に解釈し、先行研究と関係を築き、理論的な地平線を広げる。 実験結果から,このエルゴード性破壊項はディリクレエネルギーによって測定された過度なスムース化を効果的に緩和し,ノード分類タスクの性能を同時に向上させることが明らかとなった。

関連論文リスト

• Residual connections provably mitigate oversmoothing in graph neural networks [33.548465692402765]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題が続き、表現的特徴が深いGNNではほとんど区別できないようになる。 本研究では,GNNの残差と非残差を考慮した過平滑化速度を解析する。
  論文  参考訳（メタデータ） (2025-01-01T07:35:36Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks [12.001676605529626]
  グラフ上で定義される関数の近似理論について検討する。 グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する近似の下位境界を評価する枠組みを確立する。 出力の高周波エネルギーがGCNの過度な平滑化の指標である崩壊する様子を示す。
  論文  参考訳（メタデータ） (2024-07-01T13:35:53Z)
• Bundle Neural Networks for message diffusion on graphs [10.018379001231356]
  結合ニューラルネットワーク(BuNN)は,任意のグラフ上の任意の特徴変換をインジェクティブな位置符号化で近似できることを示す。 また、BuNNが任意のグラフの族上の任意の特徴変換を近似して、任意の射影的位置エンコーディングを行えば、普遍的なノードレベルの表現性が得られることを証明した。
  論文  参考訳（メタデータ） (2024-05-24T13:28:48Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• End-To-End Latent Variational Diffusion Models for Inverse Problems in High Energy Physics [61.44793171735013]
  本稿では,最先端生成技術アプローチの潜時学習とエンドツーエンドの変分フレームワークを組み合わせた,新しい統合アーキテクチャ,潜時変分モデルを提案する。 我々の統一的アプローチは、非最新技術ベースラインの20倍以上の真理への分布自由距離を達成する。
  論文  参考訳（メタデータ） (2023-05-17T17:43:10Z)
• Analysis of Graph Neural Networks with Theory of Markov Chains [2.017675281820044]
  我々は,GNN研究において重要な問題であるエンフェーバー平滑化について研究する。 演算子一貫性GNNはマルコフ的意味で指数速度で過度に平滑化を回避できないという結論を下す。 ニューラルネットワークのトレーニングに柔軟に追加できる正規化項を提案する。
  論文  参考訳（メタデータ） (2022-11-12T08:03:57Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。