論文の概要: Revisiting Generalized p-Laplacian Regularized Framelet GCNs:
Convergence, Energy Dynamic and Training with Non-Linear Diffusion
- arxiv url: http://arxiv.org/abs/2305.15639v4
- Date: Tue, 19 Sep 2023 03:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 19:37:58.990388
- Title: Revisiting Generalized p-Laplacian Regularized Framelet GCNs:
Convergence, Energy Dynamic and Training with Non-Linear Diffusion
- Title(参考訳): 一般化p-ラプラシアン正則フレームレットgcnsの再検討:収束、エネルギー動的および非線形拡散によるトレーニング
- Authors: Dai Shi, Zhiqi Shao, Yi Guo, Qibin Zhao, Junbin Gao
- Abstract要約: 本稿では,グラフp-ラプラシア正規化フレームレットネットワーク(pL-UFG)の理論解析について述べる。
我々はpL-UFGの収束解析を行い、その挙動の理解のギャップに対処する。
手動制御エネルギー力学を用いた2つの新しいpL-UFGモデルを提案する。
- 参考スコア(独自算出の注目度): 44.4195350090039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a comprehensive theoretical analysis of the graph
p-Laplacian regularized framelet network (pL-UFG) to establish a solid
understanding of its properties. We conduct a convergence analysis on pL-UFG,
addressing the gap in the understanding of its asymptotic behaviors. Further by
investigating the generalized Dirichlet energy of pL-UFG, we demonstrate that
the Dirichlet energy remains non-zero throughout convergence, ensuring the
avoidance of over-smoothing issues. Additionally, we elucidate the energy
dynamic perspective, highlighting the synergistic relationship between the
implicit layer in pL-UFG and graph framelets. This synergy enhances the model's
adaptability to both homophilic and heterophilic data. Notably, we reveal that
pL-UFG can be interpreted as a generalized non-linear diffusion process,
thereby bridging the gap between pL-UFG and differential equations on the
graph. Importantly, these multifaceted analyses lead to unified conclusions
that offer novel insights for understanding and implementing pL-UFG, as well as
other graph neural network (GNN) models. Finally, based on our dynamic
analysis, we propose two novel pL-UFG models with manually controlled energy
dynamics. We demonstrate empirically and theoretically that our proposed models
not only inherit the advantages of pL-UFG but also significantly reduce
computational costs for training on large-scale graph datasets.
- Abstract(参考訳): 本稿では,グラフp-laplacian regularized framelet network (pl-ufg) の包括的理論的解析を行い,その特性の理解を深める。
pL-UFGの収束解析を行い、その漸近的挙動の理解のギャップに対処する。
さらに、pL-UFGの一般化されたディリクレエネルギーについて調べることで、収束を通してディリクレエネルギーがゼロではないことを示す。
さらに,pl-ufgにおける暗黙的層とグラフフレームレットの相乗的関係に着目し,エネルギー動的観点を明らかにする。
このシナジーは、ホモフィルデータとヘテロフィルデータの両方に対するモデルの適合性を高める。
特に, pL-UFG を一般化された非線形拡散過程として解釈し, pL-UFG とグラフ上の微分方程式とのギャップを埋めることを明らかにする。
これらの多面的分析は、pL-UFGの理解と実装のための新しい洞察を提供する統一的な結論と、他のグラフニューラルネットワーク(GNN)モデルをもたらす。
最後に、我々の動的解析に基づいて、手動制御エネルギー力学を用いた2つの新しいpL-UFGモデルを提案する。
提案モデルがpl-ufgの利点を継承するだけでなく,大規模グラフデータセットのトレーニングに要する計算コストを大幅に削減できることを示す。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Boosting Graph Pooling with Persistent Homology [9.52772979855822]
GNN層にPH機能を鼻で接続すると、解釈可能性の低い限界改善が得られる。
本研究では,PHの濾過操作が自然にグラフプーリングを切断的に整列させるという観察に動機づけられた,グローバルなトポロジ的不変性を PH を用いてプール層に注入する新しいメカニズムについて検討する。
実験では,この機構をグラフプーリング手法の集合に適用し,複数の一般的なデータセットに対して一貫した,実質的な性能向上を観察する。
論文 参考訳(メタデータ) (2024-02-26T07:00:24Z) - Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。
この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
論文 参考訳(メタデータ) (2024-02-13T14:13:17Z) - Advective Diffusion Transformers for Topological Generalization in Graph
Learning [69.2894350228753]
グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。
本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
論文 参考訳(メタデータ) (2023-10-10T08:40:47Z) - Generalized Laplacian Regularized Framelet Graph Neural Networks [25.365685662593652]
提案した2つのモデル、p-Laplacian undecimated framelet graph convolution (pL-UFG) と一般化されたp-Laplacian undecimated framelet graph convolution (pL-fUFG) は、グラフ信号の多重分解の表現力でp-Laplacianの性質を継承する。
実験では,ノード分類や信号の復調を含むグラフ学習タスクにおいて,pL-UFGとpL-fUFGの優れた性能を強調した。
論文 参考訳(メタデータ) (2022-10-27T00:32:38Z) - Neural Sheaf Diffusion: A Topological Perspective on Heterophily and
Oversmoothing in GNNs [16.88394293874848]
セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。
一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。
我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
論文 参考訳(メタデータ) (2022-02-09T17:25:02Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳(メタデータ) (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。