論文の概要: Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective of Operator Semigroup Theory

• arxiv url: http://arxiv.org/abs/2402.15326v1
• Date: Fri, 23 Feb 2024 13:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 14:35:23.064620
• Title: Understanding Oversmoothing in Diffusion-Based GNNs From the Perspective of Operator Semigroup Theory
• Title（参考訳）: 作用素半群理論から見た拡散型GNNの過平滑化理解
• Authors: Weichen Zhao, Chenguang Wang, Xinyan Wang, Congying Han, Tiande Guo, Tianshu Yu
• Abstract要約: 本稿では拡散型グラフニューラルネット(GNN)における過剰な問題に関する新しい研究について述べる。 過平滑化が拡散作用素のエルゴード性に本質的に関連していることを厳密に証明する。 実験結果から,このエルゴード性破壊項はディリクレエネルギーによって測定された過密化を効果的に緩和することが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.946113359807551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel study of the oversmoothing issue in diffusion-based Graph Neural Networks (GNNs). Diverging from extant approaches grounded in random walk analysis or particle systems, we approach this problem through operator semigroup theory. This theoretical framework allows us to rigorously prove that oversmoothing is intrinsically linked to the ergodicity of the diffusion operator. This finding further poses a general and mild ergodicity-breaking condition, encompassing the various specific solutions previously offered, thereby presenting a more universal and theoretically grounded approach to mitigating oversmoothing in diffusion-based GNNs. Additionally, we offer a probabilistic interpretation of our theory, forging a link with prior works and broadening the theoretical horizon. Our experimental results reveal that this ergodicity-breaking term effectively mitigates oversmoothing measured by Dirichlet energy, and simultaneously enhances performance in node classification tasks.
• Abstract（参考訳）: 本稿では,拡散型グラフニューラルネットワーク(gnns)におけるオーバーモーシング問題に関する新しい研究について述べる。 ランダムウォーク解析や粒子系に基づく既存手法から分岐し、作用素半群理論によりこの問題にアプローチする。 この理論の枠組みは、過平滑化が拡散作用素のエルゴード性に本質的に結びついていることの厳密な証明を可能にする。 この発見は、これまで提供されていた様々な特定の解を包含し、拡散に基づくGNNにおける過密化を緩和するより普遍的で理論的に基礎的なアプローチを示す、一般的で穏やかなエルゴード性破壊状態をさらに引き起こす。 さらに,我々の理論を確率論的に解釈し,先行研究との関係を創り出し,理論の地平線を広げる。 実験結果から, このエルゴディクティの破壊的用語は, ダイリクレエネルギーで測定した過飽和を効果的に緩和し, ノード分類タスクの性能も同時に向上することが明らかとなった。

関連論文リスト

• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks [12.001676605529626]
  グラフ上で定義される関数の近似理論について検討する。 グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する近似の下位境界を評価する枠組みを確立する。 出力の高周波エネルギーがGCNの過度な平滑化の指標である崩壊する様子を示す。
  論文  参考訳（メタデータ） (2024-07-01T13:35:53Z)
• Bundle Neural Networks for message diffusion on graphs [10.018379001231356]
  結合ニューラルネットワーク(BuNN)は,任意のグラフ上の任意の特徴変換をインジェクティブな位置符号化で近似できることを示す。 また、BuNNが任意のグラフの族上の任意の特徴変換を近似して、任意の射影的位置エンコーディングを行えば、普遍的なノードレベルの表現性が得られることを証明した。
  論文  参考訳（メタデータ） (2024-05-24T13:28:48Z)
• Deep Learning With DAGs [5.199807441687141]
  我々は、有向非巡回グラフ(DAG)として表される理論を実証的に評価するために、因果グラフ正規化フロー(cGNFs)を導入する。 従来のアプローチとは異なり、cGNFsはアナリストが提供したDAGに従ってデータの完全な関節分布をモデル化する。
  論文  参考訳（メタデータ） (2024-01-12T19:35:54Z)
• End-To-End Latent Variational Diffusion Models for Inverse Problems in High Energy Physics [61.44793171735013]
  本稿では,最先端生成技術アプローチの潜時学習とエンドツーエンドの変分フレームワークを組み合わせた,新しい統合アーキテクチャ,潜時変分モデルを提案する。 我々の統一的アプローチは、非最新技術ベースラインの20倍以上の真理への分布自由距離を達成する。
  論文  参考訳（メタデータ） (2023-05-17T17:43:10Z)
• Analysis of Graph Neural Networks with Theory of Markov Chains [2.017675281820044]
  我々は,GNN研究において重要な問題であるエンフェーバー平滑化について研究する。 演算子一貫性GNNはマルコフ的意味で指数速度で過度に平滑化を回避できないという結論を下す。 ニューラルネットワークのトレーニングに柔軟に追加できる正規化項を提案する。
  論文  参考訳（メタデータ） (2022-11-12T08:03:57Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。