論文の概要: Higher-Order GNNs Meet Efficiency: Sparse Sobolev Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2411.04570v1
- Date: Thu, 07 Nov 2024 09:53:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:37:14.772552
- Title: Higher-Order GNNs Meet Efficiency: Sparse Sobolev Graph Neural Networks
- Title（参考訳）: 高次GNNの効率性 - Sparse Sobolev Graph Neural Networks
- Authors: Jhony H. Giraldo, Aref Einizade, Andjela Todorovic, Jhon A. Castro-Correa, Mohsen Badiey, Thierry Bouwmans, Fragkiskos D. Malliaros,
- Abstract要約: グラフニューラルネットワーク(GNN)は,グラフ内のノード間の関係をモデル化する上で,非常に有望であることを示す。
これまでの研究では、主にグラフ内の高次隣人からの情報を活用しようと試みてきた。
我々は基本的な観察を行い、ラプラシア行列の正則とアダマールの力はスペクトルでも同様に振る舞う。
グラフ信号のスパースなソボレフノルムに基づく新しいグラフ畳み込み演算子を提案する。
- 参考スコア（独自算出の注目度）: 6.080095317098909
- License:
- Abstract: Graph Neural Networks (GNNs) have shown great promise in modeling relationships between nodes in a graph, but capturing higher-order relationships remains a challenge for large-scale networks. Previous studies have primarily attempted to utilize the information from higher-order neighbors in the graph, involving the incorporation of powers of the shift operator, such as the graph Laplacian or adjacency matrix. This approach comes with a trade-off in terms of increased computational and memory demands. Relying on graph spectral theory, we make a fundamental observation: the regular and the Hadamard power of the Laplacian matrix behave similarly in the spectrum. This observation has significant implications for capturing higher-order information in GNNs for various tasks such as node classification and semi-supervised learning. Consequently, we propose a novel graph convolutional operator based on the sparse Sobolev norm of graph signals. Our approach, known as Sparse Sobolev GNN (S2-GNN), employs Hadamard products between matrices to maintain the sparsity level in graph representations. S2-GNN utilizes a cascade of filters with increasing Hadamard powers to generate a diverse set of functions. We theoretically analyze the stability of S2-GNN to show the robustness of the model against possible graph perturbations. We also conduct a comprehensive evaluation of S2-GNN across various graph mining, semi-supervised node classification, and computer vision tasks. In particular use cases, our algorithm demonstrates competitive performance compared to state-of-the-art GNNs in terms of performance and running time.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ内のノード間の関係をモデル化する上で大きな可能性を秘めている。
従来の研究では、グラフラプラシア行列や隣接行列のようなシフト作用素の力を組み込んだ高階隣人からの情報を主に利用しようと試みてきた。
このアプローチは、計算とメモリの要求が増大するという点でトレードオフが伴う。
グラフスペクトル理論に基づき、ラプラシア行列の正則とアダマールの力はスペクトルでも同様に振る舞う。
この観察は、ノード分類や半教師付き学習といった様々なタスクにおいて、GNNの高次情報をキャプチャする上で重要な意味を持つ。
そこで我々は,グラフ信号のスパースソボレフノルムに基づく新しいグラフ畳み込み演算子を提案する。
我々のアプローチはスパース・ソボレフ GNN (S2-GNN) と呼ばれ、グラフ表現の空間レベルを維持するために行列間のアダマール積を用いる。
S2-GNNはフィルタのカスケードを使用し、アダマールパワーを増大させ、多様な関数群を生成する。
本稿では,S2-GNNの安定性を理論的に解析し,グラフ摂動に対するモデルの堅牢性を示す。
また, グラフマイニング, 半教師付きノード分類, コンピュータビジョンタスクにおけるS2-GNNの包括的評価を行う。
特に,本アルゴリズムは,現状のGNNと比較して,性能や実行時間の面での競合性能を示す。
関連論文リスト
- Graph neural networks and non-commuting operators [4.912318087940015]
我々は,グラフトン・タプルニューラルネットワークの極限理論を開発し,それを普遍的な伝達可能性定理の証明に利用する。
我々の理論的結果は、GNNのよく知られた移動可能性定理を、複数の同時グラフの場合にまで拡張する。
得られたモデルの安定性を確実に実施する訓練手順を導出する。
論文 参考訳（メタデータ） (2024-11-06T21:17:14Z) - A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。
我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文 参考訳（メタデータ） (2024-06-07T19:25:02Z) - Higher-order Sparse Convolutions in Graph Neural Networks [17.647346486710514]
グラフ信号のソボレフノルムに基づく新しい高次スパース畳み込みを導入する。
S-SobGNNは、最先端のいくつかの手法と比較して、全てのアプリケーションで競合性能を示す。
論文 参考訳（メタデータ） (2023-02-21T08:08:18Z) - Stable and Transferable Hyper-Graph Neural Networks [95.07035704188984]
グラフニューラルネットワーク(GNN)を用いたハイパーグラフでサポートする信号処理アーキテクチャを提案する。
スペクトル類似性により任意のグラフにまたがってGNNの安定性と転送可能性の誤差をバウンドするフレームワークを提供する。
論文 参考訳（メタデータ） (2022-11-11T23:44:20Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Graph Neural Networks with Parallel Neighborhood Aggregations for Graph
Classification [14.112444998191698]
グラフニューラルネットワーク(GNN)モデルを用いたグラフ分類に着目し、並列に配置された近傍グラフ演算子のバンクを用いてノード特徴をプリ計算する。
これらのGNNモデルには、事前計算によるトレーニングと推論時間の削減という自然な利点がある。
本研究は,様々な実世界のデータセット上で,開発モデルが最先端の性能を達成することを数値実験により実証する。
論文 参考訳（メタデータ） (2021-11-22T19:19:40Z) - Permutation-equivariant and Proximity-aware Graph Neural Networks with
Stochastic Message Passing [88.30867628592112]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。
既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。
ノードの近さを保つため,既存のGNNをノード表現で拡張する。
論文 参考訳（メタデータ） (2020-09-05T16:46:56Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z) - Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。
本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。
このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
論文 参考訳（メタデータ） (2020-02-10T06:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。