論文の概要: Neural Sheaf Diffusion: A Topological Perspective on Heterophily and
Oversmoothing in GNNs
- arxiv url: http://arxiv.org/abs/2202.04579v1
- Date: Wed, 9 Feb 2022 17:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 16:07:53.198351
- Title: Neural Sheaf Diffusion: A Topological Perspective on Heterophily and
Oversmoothing in GNNs
- Title(参考訳): 神経せん断拡散 : GNNにおける異所性および過スムージングのトポロジー的展望
- Authors: Cristian Bodnar, Francesco Di Giovanni, Benjamin Paul Chamberlain,
Pietro Li\`o, Michael M. Bronstein
- Abstract要約: セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。
一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。
我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
- 参考スコア(独自算出の注目度): 16.88394293874848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cellular sheaves equip graphs with "geometrical" structure by assigning
vector spaces and linear maps to nodes and edges. Graph Neural Networks (GNNs)
implicitly assume a graph with a trivial underlying sheaf. This choice is
reflected in the structure of the graph Laplacian operator, the properties of
the associated diffusion equation, and the characteristics of the convolutional
models that discretise this equation. In this paper, we use cellular sheaf
theory to show that the underlying geometry of the graph is deeply linked with
the performance of GNNs in heterophilic settings and their oversmoothing
behaviour. By considering a hierarchy of increasingly general sheaves, we study
how the ability of the sheaf diffusion process to achieve linear separation of
the classes in the infinite time limit expands. At the same time, we prove that
when the sheaf is non-trivial, discretised parametric diffusion processes have
greater control than GNNs over their asymptotic behaviour. On the practical
side, we study how sheaves can be learned from data. The resulting sheaf
diffusion models have many desirable properties that address the limitations of
classical graph diffusion equations (and corresponding GNN models) and obtain
state-of-the-art results in heterophilic settings. Overall, our work provides
new connections between GNNs and algebraic topology and would be of interest to
both fields.
- Abstract(参考訳): セルラーシーブはベクトル空間と線型写像をノードとエッジに割り当てることで「幾何学的」構造を持つ。
グラフニューラルネットワーク(GNN)は、自明な下層のグラフを暗黙的に仮定する。
この選択はグラフラプラス作用素の構造、関連する拡散方程式の性質、およびこの方程式を識別する畳み込みモデルの特徴に反映される。
本稿では, セルラーシーフ理論を用いて, グラフの基盤となる形状が, ヘテロ親水性環境におけるGNNの性能と過度な挙動と深く関連していることを示す。
ますます一般的な層階層の階層を考えることで,層拡散過程が無限の時間極限におけるクラスを線形に分離する能力がいかに拡大するかを考察する。
同時に, 層が非自明である場合, 離散パラメトリック拡散過程は, 漸近的挙動よりもgnnよりも制御性が高いことを証明した。
実践面では,層がデータからどのように学べるかを考察する。
得られた層拡散モデルには、古典的グラフ拡散方程式(および対応するGNNモデル)の極限に対処し、異種親和性のある状態が得られる多くの望ましい性質がある。
全体として、我々の研究は、GNNと代数的トポロジーの間の新たな接続を提供し、両方の分野に興味を持つだろう。
関連論文リスト
- Advective Diffusion Transformers for Topological Generalization in Graph
Learning [69.2894350228753]
グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。
本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
論文 参考訳(メタデータ) (2023-10-10T08:40:47Z) - Geometric Graph Filters and Neural Networks: Limit Properties and
Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。
これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文 参考訳(メタデータ) (2023-05-29T08:27:17Z) - Graph Neural Convection-Diffusion with Heterophily [32.234690120340964]
グラフニューラルネットワーク(GNN)は、さまざまなグラフ学習タスクで有望な結果を示している。
しかし、それらはしばしばホモフィリー(英語版)を仮定し、ヘテロ親和グラフ上での性能が低下する可能性がある。
本稿では,ノード上の情報の流れをモデル化してヘテロフィリの原理を取り入れた新しいGNNを提案する。
論文 参考訳(メタデータ) (2023-05-26T09:47:03Z) - Graph Generation with Diffusion Mixture [64.94970275833258]
グラフの生成は、非ユークリッド構造の複雑な性質を理解する必要がある実世界のタスクにとって大きな課題である。
本稿では,拡散過程の最終グラフ構造を明示的に学習することにより,グラフのトポロジーをモデル化する生成フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-07T17:07:46Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - Capturing Graphs with Hypo-Elliptic Diffusions [7.704064306361941]
ランダムウォークの分布はグラフラプラシアンを用いて定義された拡散方程式に従って進化することを示す。
この結果、テンソル値のグラフ作用素が新しくなり、これは下楕円グラフラプラシアン (Laplacian) と呼ばれる。
本手法は,長距離推論を必要とするデータセット上のグラフ変換器と競合するが,エッジ数では線形にしかスケールしないことを示す。
論文 参考訳(メタデータ) (2022-05-27T16:47:34Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳(メタデータ) (2022-05-15T11:38:14Z) - Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised
Node Classification [59.06717774425588]
本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。
出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。
本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
論文 参考訳(メタデータ) (2021-07-27T19:47:53Z) - GRAND: Graph Neural Diffusion [15.00135729657076]
本稿では,連続拡散過程としてグラフの深層学習にアプローチするグラフニューラル拡散(GRAND)を提案する。
我々のモデルでは、層構造と位相は時間的および空間的作用素の離散化選択に対応する。
我々のモデルの成功の鍵は、データの摂動に対する安定性であり、これは暗黙的および明示的な離散化スキームの両方に対処する。
論文 参考訳(メタデータ) (2021-06-21T09:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。