論文の概要: Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs

• arxiv url: http://arxiv.org/abs/2202.04579v1
• Date: Wed, 9 Feb 2022 17:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 16:07:53.198351
• Title: Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs
• Title（参考訳）: 神経せん断拡散 : GNNにおける異所性および過スムージングのトポロジー的展望
• Authors: Cristian Bodnar, Francesco Di Giovanni, Benjamin Paul Chamberlain, Pietro Li\`o, Michael M. Bronstein
• Abstract要約: セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。 一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。 我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
• 参考スコア（独自算出の注目度）: 16.88394293874848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cellular sheaves equip graphs with "geometrical" structure by assigning vector spaces and linear maps to nodes and edges. Graph Neural Networks (GNNs) implicitly assume a graph with a trivial underlying sheaf. This choice is reflected in the structure of the graph Laplacian operator, the properties of the associated diffusion equation, and the characteristics of the convolutional models that discretise this equation. In this paper, we use cellular sheaf theory to show that the underlying geometry of the graph is deeply linked with the performance of GNNs in heterophilic settings and their oversmoothing behaviour. By considering a hierarchy of increasingly general sheaves, we study how the ability of the sheaf diffusion process to achieve linear separation of the classes in the infinite time limit expands. At the same time, we prove that when the sheaf is non-trivial, discretised parametric diffusion processes have greater control than GNNs over their asymptotic behaviour. On the practical side, we study how sheaves can be learned from data. The resulting sheaf diffusion models have many desirable properties that address the limitations of classical graph diffusion equations (and corresponding GNN models) and obtain state-of-the-art results in heterophilic settings. Overall, our work provides new connections between GNNs and algebraic topology and would be of interest to both fields.
• Abstract（参考訳）: セルラーシーブはベクトル空間と線型写像をノードとエッジに割り当てることで「幾何学的」構造を持つ。 グラフニューラルネットワーク(GNN)は、自明な下層のグラフを暗黙的に仮定する。 この選択はグラフラプラス作用素の構造、関連する拡散方程式の性質、およびこの方程式を識別する畳み込みモデルの特徴に反映される。 本稿では, セルラーシーフ理論を用いて, グラフの基盤となる形状が, ヘテロ親水性環境におけるGNNの性能と過度な挙動と深く関連していることを示す。 ますます一般的な層階層の階層を考えることで,層拡散過程が無限の時間極限におけるクラスを線形に分離する能力がいかに拡大するかを考察する。 同時に, 層が非自明である場合, 離散パラメトリック拡散過程は, 漸近的挙動よりもgnnよりも制御性が高いことを証明した。 実践面では,層がデータからどのように学べるかを考察する。 得られた層拡散モデルには、古典的グラフ拡散方程式(および対応するGNNモデル)の極限に対処し、異種親和性のある状態が得られる多くの望ましい性質がある。 全体として、我々の研究は、GNNと代数的トポロジーの間の新たな接続を提供し、両方の分野に興味を持つだろう。

関連論文リスト

• Generalization of Geometric Graph Neural Networks [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• Graph Classification with GNNs: Optimisation, Representation and Inductive Bias [0.6445605125467572]
  このような等価性は、付随する最適化問題を無視するものであり、GNN学習プロセスの全体像を提供するものではない、と我々は主張する。 理論的には、グラフ内のメッセージパッシング層は、識別サブグラフか、あるいはグラフ全体に分散した識別ノードの集合を探索する傾向にあることを証明している。
  論文  参考訳（メタデータ） (2024-08-17T18:15:44Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• LSEnet: Lorentz Structural Entropy Neural Network for Deep Graph Clustering [59.89626219328127]
  グラフクラスタリングは機械学習の基本的な問題である。 近年、ディープラーニング手法は最先端の成果を達成しているが、事前に定義されたクラスタ番号なしでは動作できない。 本稿では,グラフ情報理論の新たな視点からこの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:46:41Z)
• Graph Neural Aggregation-diffusion with Metastability [4.040326569845733]
  微分方程式に基づく連続グラフニューラルモデルはグラフニューラルネット(GNN)のアーキテクチャを拡張した 相互作用ポテンシャルによって誘導される非線形拡散と凝集の微妙なバランスを含むグラフ凝集拡散方程式に着想を得たGRADEを提案する。 我々はGRADEが様々なベンチマークで競合性能を達成し、GNNにおける過度にスムースな問題を軽減することを証明した。
  論文  参考訳（メタデータ） (2024-03-29T15:05:57Z)
• Advective Diffusion Transformers for Topological Generalization in Graph Learning [69.2894350228753]
  グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。 本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
  本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。 これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-29T08:27:17Z)
• Capturing Graphs with Hypo-Elliptic Diffusions [7.704064306361941]
  ランダムウォークの分布はグラフラプラシアンを用いて定義された拡散方程式に従って進化することを示す。 この結果、テンソル値のグラフ作用素が新しくなり、これは下楕円グラフラプラシアン (Laplacian) と呼ばれる。 本手法は,長距離推論を必要とするデータセット上のグラフ変換器と競合するが,エッジ数では線形にしかスケールしないことを示す。
  論文  参考訳（メタデータ） (2022-05-27T16:47:34Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。