Fugu-MT 論文翻訳(概要): Understanding convolution on graphs via energies

論文の概要: Understanding convolution on graphs via energies

arxiv url: http://arxiv.org/abs/2206.10991v4
Date: Wed, 31 May 2023 10:33:18 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 23:25:30.732109
Title: Understanding convolution on graphs via energies
Title（参考訳）: エネルギーによるグラフの畳み込みの理解
Authors: Francesco Di Giovanni, James Rowbottom, Benjamin P. Chamberlain, Thomas Markovich, Michael M. Bronstein
Abstract要約: グラフネットワーク(GNN)は一般的にメッセージパッシングによって動作し、隣人から受信した情報に基づいてノードの状態が更新される。ほとんどのメッセージパッシングモデルはグラフ畳み込みとして機能し、エッジ上に伝播する前に共有された線形変換によって特徴が混合される。ノード分類タスクでは、グラフの畳み込みには2つの制限がある。
参考スコア（独自算出の注目度）: 13.097833145270032
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) typically operate by message-passing, where the state of a node is updated based on the information received from its neighbours. Most message-passing models act as graph convolutions, where features are mixed by a shared, linear transformation before being propagated over the edges. On node-classification tasks, graph convolutions have been shown to suffer from two limitations: poor performance on heterophilic graphs, and over-smoothing. It is common belief that both phenomena occur because such models behave as low-pass filters, meaning that the Dirichlet energy of the features decreases along the layers incurring a smoothing effect that ultimately makes features no longer distinguishable. In this work, we rigorously prove that simple graph-convolutional models can actually enhance high frequencies and even lead to an asymptotic behaviour we refer to as over-sharpening, opposite to over-smoothing. We do so by showing that linear graph convolutions with symmetric weights minimize a multi-particle energy that generalizes the Dirichlet energy; in this setting, the weight matrices induce edge-wise attraction (repulsion) through their positive (negative) eigenvalues, thereby controlling whether the features are being smoothed or sharpened. We also extend the analysis to non-linear GNNs, and demonstrate that some existing time-continuous GNNs are instead always dominated by the low frequencies. Finally, we validate our theoretical findings through ablations and real-world experiments.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は一般的にメッセージパッシングによって動作し、隣人から受信した情報に基づいてノードの状態が更新される。ほとんどのメッセージパッシングモデルはグラフ畳み込みとして機能し、エッジ上に伝播する前に共有線形変換によって特徴が混合される。ノード分類タスクでは、グラフの畳み込みには2つの制限がある。これらのモデルがローパスフィルタとして振る舞うため、両方の現象が生じるとよく信じられているため、特徴のディリクレエネルギーは層に沿って減少し、最終的に特徴が区別できないような滑らかな効果をもたらす。本研究では,単純なグラフ畳み込みモデルが実際に高周波数を増大させ,過度にシャープ化されるという漸近的な振る舞いを生じさせることを厳密に証明する。対称重みを持つ線形グラフ畳み込みは、ディリクレエネルギーを一般化する多粒子エネルギーを最小化することを示し、この設定では、重み行列は正の(負の)固有値を通じてエッジワイズアトラクション(反発)を誘導し、特徴が平滑化されているかシャープ化されているかを制御する。また、解析を非線形GNNに拡張し、既存の時間連続GNNが常に低周波数で支配されていることを示す。最後に,実世界実験とアブレーションにより理論的知見を検証した。

関連論文リスト

Almost Surely Asymptotically Constant Graph Neural Networks [7.339728196535312]
出力は定数関数に収束し、これらの分類器が一様に表現できる上限となることを示す。この強い収束現象は、芸術モデルを含む非常に幅広い種類のGNNに適用される。我々はこれらの知見を実証的に検証し、収束現象がランダムグラフだけでなく、実世界のグラフにも現れることを観察した。
論文参考訳（メタデータ） (2024-03-06T17:40:26Z)
Graph Generation via Spectral Diffusion [51.60814773299899]
本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
論文参考訳（メタデータ） (2024-02-29T09:26:46Z)
Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
論文参考訳（メタデータ） (2023-10-10T08:40:47Z)
Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文参考訳（メタデータ） (2023-05-29T08:27:17Z)
A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
論文参考訳（メタデータ） (2023-05-22T14:52:33Z)
OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
論文参考訳（メタデータ） (2023-01-31T21:20:48Z)
A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
非漸近解析により,この現象の背後にあるメカニズムを特徴づける。混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
論文参考訳（メタデータ） (2022-12-21T00:33:59Z)
Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs [16.88394293874848]
セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
論文参考訳（メタデータ） (2022-02-09T17:25:02Z)
Nonlinear State-Space Generalizations of Graph Convolutional Neural Networks [172.18295279061607]
グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
論文参考訳（メタデータ） (2020-10-27T19:48:56Z)
Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文参考訳（メタデータ） (2020-10-09T07:35:26Z)
A Note on Over-Smoothing for Graph Neural Networks [13.008323851750442]
我々は、一般的なグラフニューラルネットワークアーキテクチャにおけるオーバースムーシング効果を分析するために、以前の結果であるciteoono 2019graphに基づいて構築する。重み行列が拡張正規化ラプラシアンのスペクトルによって決定される条件を満たすとき、埋め込みのディリクレエネルギーは 0 に収束し、判別力を失う。
論文参考訳（メタデータ） (2020-06-23T20:36:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。