論文の概要: Revisiting Generalized p-Laplacian Regularized Framelet GCNs: Convergence, Energy Dynamic and Training with Non-Linear Diffusion

• arxiv url: http://arxiv.org/abs/2305.15639v3
• Date: Thu, 13 Jul 2023 06:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 17:15:59.264096
• Title: Revisiting Generalized p-Laplacian Regularized Framelet GCNs: Convergence, Energy Dynamic and Training with Non-Linear Diffusion
• Title（参考訳）: 一般化p-ラプラシアン正則フレームレットgcnsの再検討:収束、エネルギー動的および非線形拡散によるトレーニング
• Authors: Dai Shi, Zhiqi Shao, Yi Guo, Qibin Zhao, Junbin Gao
• Abstract要約: 本稿では,グラフp-ラプラシア正規化フレームレットネットワーク(pL-UFG)の理論解析について述べる。 我々はpL-UFGの収束解析を行い、その挙動の理解のギャップに対処する。 手動制御エネルギー力学を用いた2つの新しいpL-UFGモデルを提案する。
• 参考スコア（独自算出の注目度）: 44.554169308965534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a comprehensive theoretical analysis of the graph p-Laplacian regularized framelet network (pL-UFG) to establish a solid understanding of its properties. We conduct a convergence analysis on pL-UFG, addressing the gap in the understanding of its asymptotic behaviors. Further by investigating the generalized Dirichlet energy of pL-UFG, we demonstrate that the Dirichlet energy remains non-zero throughout convergence, ensuring the avoidance of over-smoothing issues. Additionally, we elucidate the energy dynamic perspective, highlighting the synergistic relationship between the implicit layer in pL-UFG and graph framelets. This synergy enhances the model's adaptability to both homophilic and heterophilic data. Notably, we reveal that pL-UFG can be interpreted as a generalized non-linear diffusion process, thereby bridging the gap between pL-UFG and differential equations on the graph. Importantly, these multifaceted analyses lead to unified conclusions that offer novel insights for understanding and implementing pL-UFG, as well as other graph neural network (GNN) models. Finally, based on our dynamic analysis, we propose two novel pL-UFG models with manually controlled energy dynamics. We demonstrate empirically and theoretically that our proposed models not only inherit the advantages of pL-UFG but also significantly reduce computational costs for training on large-scale graph datasets.
• Abstract（参考訳）: 本稿では,グラフp-laplacian regularized framelet network (pl-ufg) の包括的理論的解析を行い,その特性の理解を深める。 pL-UFGの収束解析を行い、その漸近的挙動の理解のギャップに対処する。 さらに、pL-UFGの一般化されたディリクレエネルギーについて調べることで、収束を通してディリクレエネルギーがゼロではないことを示す。 さらに,pl-ufgにおける暗黙的層とグラフフレームレットの相乗的関係に着目し,エネルギー動的観点を明らかにする。 このシナジーは、ホモフィルデータとヘテロフィルデータの両方に対するモデルの適合性を高める。 特に, pL-UFG を一般化された非線形拡散過程として解釈し, pL-UFG とグラフ上の微分方程式とのギャップを埋めることを明らかにする。 これらの多面的分析は、pL-UFGの理解と実装のための新しい洞察を提供する統一的な結論と、他のグラフニューラルネットワーク(GNN)モデルをもたらす。 最後に、我々の動的解析に基づいて、手動制御エネルギー力学を用いた2つの新しいpL-UFGモデルを提案する。 提案モデルがpl-ufgの利点を継承するだけでなく,大規模グラフデータセットのトレーニングに要する計算コストを大幅に削減できることを示す。

関連論文リスト

• Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks [12.001676605529626]
  グラフ上で定義される関数の近似理論について検討する。 グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する近似の下位境界を評価する枠組みを確立する。 出力の高周波エネルギーがGCNの過度な平滑化の指標である崩壊する様子を示す。
  論文  参考訳（メタデータ） (2024-07-01T13:35:53Z)
• Continuous Geometry-Aware Graph Diffusion via Hyperbolic Neural PDE [36.48610732998552]
  我々は、HPDE積分のための非ユークリッド多様体に対して、電場と流れ、勾配、発散、および拡散率の理論的原理を導入する。 本稿では,ハイパーボリックグラフ拡散方程式 (HGDE) を提案する。
  論文  参考訳（メタデータ） (2024-06-03T12:50:58Z)
• Graph Neural Aggregation-diffusion with Metastability [4.040326569845733]
  微分方程式に基づく連続グラフニューラルモデルはグラフニューラルネット(GNN)のアーキテクチャを拡張した 相互作用ポテンシャルによって誘導される非線形拡散と凝集の微妙なバランスを含むグラフ凝集拡散方程式に着想を得たGRADEを提案する。 我々はGRADEが様々なベンチマークで競合性能を達成し、GNNにおける過度にスムースな問題を軽減することを証明した。
  論文  参考訳（メタデータ） (2024-03-29T15:05:57Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Boosting Graph Pooling with Persistent Homology [8.477383770884508]
  GNN層にPH機能を鼻で接続すると、解釈可能性の低い限界改善が得られる。 本研究では,PHの濾過操作が自然にグラフプーリングを切断的に整列させるという観察に動機づけられた,グローバルなトポロジ的不変性を PH を用いてプール層に注入する新しいメカニズムについて検討する。 実験では,この機構をグラフプーリング手法の集合に適用し,複数の一般的なデータセットに対して一貫した,実質的な性能向上を観察する。
  論文  参考訳（メタデータ） (2024-02-26T07:00:24Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。