論文の概要: Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous
Graph Diffusion Functionals
- arxiv url: http://arxiv.org/abs/2307.00222v1
- Date: Sat, 1 Jul 2023 04:44:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 17:22:34.034583
- Title: Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous
Graph Diffusion Functionals
- Title（参考訳）: 連続グラフ拡散関数空間における再シンクと再設計グラフニューラルネットワーク
- Authors: Tingting Dan and Jiaqi Ding and Ziquan Wei and Shahar Z Kovalsky and
Minjeong Kim and Won Hwa Kim and Guorong Wu
- Abstract要約: グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。
GNNのローカリティ仮定は、グラフ内の長距離依存関係とグローバルパターンをキャプチャする能力を損なう。
本稿では,ブラヒクロニスト問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
- 参考スコア（独自算出の注目度）: 7.6435511285856865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are widely used in domains like social networks
and biological systems. However, the locality assumption of GNNs, which limits
information exchange to neighboring nodes, hampers their ability to capture
long-range dependencies and global patterns in graphs. To address this, we
propose a new inductive bias based on variational analysis, drawing inspiration
from the Brachistochrone problem. Our framework establishes a mapping between
discrete GNN models and continuous diffusion functionals. This enables the
design of application-specific objective functions in the continuous domain and
the construction of discrete deep models with mathematical guarantees. To
tackle over-smoothing in GNNs, we analyze the existing layer-by-layer graph
embedding models and identify that they are equivalent to l2-norm integral
functionals of graph gradients, which cause over-smoothing. Similar to
edge-preserving filters in image denoising, we introduce total variation (TV)
to align the graph diffusion pattern with global community topologies.
Additionally, we devise a selective mechanism to address the trade-off between
model depth and over-smoothing, which can be easily integrated into existing
GNNs. Furthermore, we propose a novel generative adversarial network (GAN) that
predicts spreading flows in graphs through a neural transport equation. To
mitigate vanishing flows, we customize the objective function to minimize
transportation within each community while maximizing inter-community flows.
Our GNN models achieve state-of-the-art (SOTA) performance on popular graph
learning benchmarks such as Cora, Citeseer, and Pubmed.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。
しかし、近隣ノードへの情報交換を制限するGNNの局所性仮定は、グラフ内の長距離依存関係やグローバルパターンをキャプチャする能力を損なう。
そこで本研究では,ブラキストロン問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
我々のフレームワークは離散GNNモデルと連続拡散関数のマッピングを確立する。
これにより、連続領域におけるアプリケーション固有の目的関数の設計と、数学的保証を伴う離散的深層モデルの構築が可能になる。
GNNにおけるオーバー・スムース化に取り組むために,既存の層間グラフ埋め込みモデルを分析し,グラフ勾配の l2-ノルム積分関数と等価であることを確認した。
エッジ保存フィルタと同様に,グラフ拡散パターンとグローバルコミュニティトポロジを整合させるために,全変動(total variation,tv)を導入する。
さらに,モデル深度と過平滑化とのトレードオフに対処する選択的なメカニズムを考案し,既存のGNNに容易に組み込めるようにした。
さらに,神経伝達方程式を通じてグラフ内の拡散流を予測する新しい生成的逆ネットワーク(gan)を提案する。
コミュニティ間のフローを最大化しつつ,各コミュニティ内の移動を最小化するための目的機能をカスタマイズする。
我々のGNNモデルは、Cora、Citeseer、Pubmedといった人気のあるグラフ学習ベンチマーク上で、最先端(SOTA)性能を達成する。
関連論文リスト
- Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach [1.4854797901022863]
本稿では,グラフの高密度領域からエッジを抽出する新鮮で柔軟なトラスグラフスペーシフィケーションモデルを提案する。
次に、GIN、SAGPool、GMT、DiffPool、MinCutPool、HGP-SL、DMonPool、AdamGNNといった最先端のベースラインGNNとプールモデルでスパーシフィケーションモデルを利用する。
論文 参考訳（メタデータ） (2024-07-16T17:21:36Z) - Continuous Spiking Graph Neural Networks [43.28609498855841]
連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。
本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。
我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
論文 参考訳（メタデータ） (2024-04-02T12:36:40Z) - Dynamic Causal Explanation Based Diffusion-Variational Graph Neural
Network for Spatio-temporal Forecasting [60.03169701753824]
時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。
提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
論文 参考訳（メタデータ） (2023-05-16T11:38:19Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Discovering the Representation Bottleneck of Graph Neural Networks from
Multi-order Interactions [51.597480162777074]
グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。
最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。
科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
論文 参考訳（メタデータ） (2022-05-15T11:38:14Z) - Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid
Scattering Networks [11.857894213975644]
本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。
理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
論文 参考訳（メタデータ） (2022-01-22T00:47:41Z) - GRAND: Graph Neural Diffusion [15.00135729657076]
本稿では,連続拡散過程としてグラフの深層学習にアプローチするグラフニューラル拡散(GRAND)を提案する。
我々のモデルでは、層構造と位相は時間的および空間的作用素の離散化選択に対応する。
我々のモデルの成功の鍵は、データの摂動に対する安定性であり、これは暗黙的および明示的な離散化スキームの両方に対処する。
論文 参考訳（メタデータ） (2021-06-21T09:10:57Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z) - Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。
鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。
階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
論文 参考訳（メタデータ） (2020-09-08T13:11:07Z) - Stochastic Graph Neural Networks [123.39024384275054]
グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。
現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。
これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
論文 参考訳（メタデータ） (2020-06-04T08:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。