論文の概要: Graph Neural Networks as Gradient Flows

• arxiv url: http://arxiv.org/abs/2206.10991v1
• Date: Wed, 22 Jun 2022 11:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 14:57:03.081447
• Title: Graph Neural Networks as Gradient Flows
• Title（参考訳）: 勾配流としてのグラフニューラルネットワーク
• Authors: Francesco Di Giovanni, James Rowbottom, Benjamin P. Chamberlain, Thomas Markovich, Michael M. Bronstein
• Abstract要約: 本稿では,学習可能なエネルギーの最も急降下方向を方程式が追従するGNNの勾配流フレームワークを提案する。 解のスペクトル解析を行い、勾配流グラフ畳み込みモデルがグラフ高周波数に支配されるダイナミクスを誘導できると結論付ける。
• 参考スコア（独自算出の注目度）: 13.097833145270032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamical systems minimizing an energy are ubiquitous in geometry and physics. We propose a gradient flow framework for GNNs where the equations follow the direction of steepest descent of a learnable energy. This approach allows to explain the GNN evolution from a multi-particle perspective as learning attractive and repulsive forces in feature space via the positive and negative eigenvalues of a symmetric "channel-mixing" matrix. We perform spectral analysis of the solutions and conclude that gradient flow graph convolutional models can induce a dynamics dominated by the graph high frequencies which is desirable for heterophilic datasets. We also describe structural constraints on common GNN architectures allowing to interpret them as gradient flows. We perform thorough ablation studies corroborating our theoretical analysis and show competitive performance of simple and lightweight models on real-world homophilic and heterophilic datasets.
• Abstract（参考訳）: エネルギーを最小化する力学系は幾何学や物理学においてユビキタスである。 本稿では,学習可能なエネルギーの最も急降下方向を方程式が追従するGNNの勾配流フレームワークを提案する。 このアプローチは、多粒子の観点からGNNの進化を、対称な「チャネル混合」行列の正および負の固有値を通して特徴空間における魅力的で反発的な力を学ぶものとして説明することができる。 本研究では, この解のスペクトル解析を行い, ヘテロ親和性データセットに望ましいグラフ高頻度に支配されるダイナミックスを導出できることを結論する。 また,グラデーションフローとして解釈可能な共通gnnアーキテクチャの構造制約についても述べる。 我々は,我々の理論解析を補完する徹底的なアブレーション研究を行い,実世界のホモ親和性データセットとヘテロ親和性データセット上で,単純で軽量なモデルの競合性能を示す。

関連論文リスト

• Almost Surely Asymptotically Constant Graph Neural Networks [7.339728196535312]
  出力は定数関数に収束し、これらの分類器が一様に表現できる上限となることを示す。 この強い収束現象は、芸術モデルを含む非常に幅広い種類のGNNに適用される。 我々はこれらの知見を実証的に検証し、収束現象がランダムグラフだけでなく、実世界のグラフにも現れることを観察した。
  論文  参考訳（メタデータ） (2024-03-06T17:40:26Z)
• Graph Generation via Spectral Diffusion [51.60814773299899]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。 具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。 我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
  本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。 これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-29T08:27:17Z)
• A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
  非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。 非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。 グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
  論文  参考訳（メタデータ） (2023-05-22T14:52:33Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs [16.88394293874848]
  セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。 一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。 我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
  論文  参考訳（メタデータ） (2022-02-09T17:25:02Z)
• Nonlinear State-Space Generalizations of Graph Convolutional Neural Networks [172.18295279061607]
  グラフ畳み込みニューラルネットワーク(GCNN)は、線形グラフ畳み込みを非線形にネストすることで、ネットワークデータから構成表現を学習する。 本稿では,GCNNを状態空間の観点からアプローチし,グラフ畳み込みモジュールが最小値線形状態空間モデルであることを明らかにする。 この状態更新は、非パラメトリックであり、グラフスペクトルによって爆発または消滅する可能性があるため、問題となる可能性がある。 本稿では,非線形な状態空間パラメトリック方式でノード特徴を階層内に集約し,よりよいトレードオフを実現するという,新しい結節集合規則を提案する。
  論文  参考訳（メタデータ） (2020-10-27T19:48:56Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• A Note on Over-Smoothing for Graph Neural Networks [13.008323851750442]
  我々は、一般的なグラフニューラルネットワークアーキテクチャにおけるオーバースムーシング効果を分析するために、以前の結果であるciteoono 2019graphに基づいて構築する。 重み行列が拡張正規化ラプラシアンのスペクトルによって決定される条件を満たすとき、埋め込みのディリクレエネルギーは 0 に収束し、判別力を失う。
  論文  参考訳（メタデータ） (2020-06-23T20:36:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。