論文の概要: Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective

• arxiv url: http://arxiv.org/abs/2207.11311v1
• Date: Fri, 22 Jul 2022 19:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:47:35.067279
• Title: Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective
• Title（参考訳）: ベイジアン推論から見たグラフニューラルネットワークの非線形性理解
• Authors: Rongzhe Wei, Haoteng Yin, Junteng Jia, Austin R. Benson, Pan Li
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフよりも多くの予測タスクにおいて優位性を示している。 ノード分類タスクにおけるGNNにおける非線形性の関数について検討する。
• 参考スコア（独自算出の注目度）: 33.01636846541052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have shown superiority in many prediction tasks over graphs due to their impressive capability of capturing nonlinear relations in graph-structured data. However, for node classification tasks, often, only marginal improvement of GNNs over their linear counterparts has been observed. Previous works provide very few understandings of this phenomenon. In this work, we resort to Bayesian learning to deeply investigate the functions of non-linearity in GNNs for node classification tasks. Given a graph generated from the statistical model CSBM, we observe that the max-a-posterior estimation of a node label given its own and neighbors' attributes consists of two types of non-linearity, a possibly non-linear transformation of node attributes and a ReLU-activated feature aggregation from neighbors. The latter surprisingly matches the type of non-linearity used in many GNN models. By further imposing Gaussian assumption on node attributes, we prove that the superiority of those ReLU activations is only significant when the node attributes are far more informative than the graph structure, which nicely matches many previous empirical observations. A similar argument can be achieved when there is a distribution shift of node attributes between the training and testing datasets. Finally, we verify our theory on both synthetic and real-world networks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造データにおける非線形関係を捉えるという印象的な能力により、グラフよりも多くの予測タスクにおいて優位性を示している。 しかし,ノード分類タスクでは,gnnの線形化に対する限界的改善が観察されることが多い。 以前の研究はこの現象についてほとんど理解していない。 本稿では,ノード分類タスクにおけるgnnの非線形性の関数を深く研究するためにベイズ学習を利用する。 統計モデルCSBMから生成したグラフから, ノードラベルの最大位置推定は, ノード属性の非線型性, ノード属性の非線形変換, 近隣からのReLU-Active特徴集約の2種類からなることを示した。 後者は多くのGNNモデルで使用される非線形性の種類と驚くほど一致している。 ノード属性に対するガウス的仮定をさらに示唆することにより、これらのReLUアクティベーションの優位性は、ノード属性がグラフ構造よりもはるかに情報的である場合にのみ有意であることを示す。 トレーニングとテストデータセットの間にノード属性の分散シフトがある場合、同様の議論が可能になる。 最後に,本理論を合成ネットワークと実世界ネットワークの両方で検証する。

関連論文リスト

• Graph neural networks and non-commuting operators [4.912318087940015]
  我々は,グラフトン・タプルニューラルネットワークの極限理論を開発し,それを普遍的な伝達可能性定理の証明に利用する。 我々の理論的結果は、GNNのよく知られた移動可能性定理を、複数の同時グラフの場合にまで拡張する。 得られたモデルの安定性を確実に実施する訓練手順を導出する。
  論文  参考訳（メタデータ） (2024-11-06T21:17:14Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification [25.831508778029097]
  統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。 また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:54:11Z)
• Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
  本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。 これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-29T08:27:17Z)
• Analysis of Convolutions, Non-linearity and Depth in Graph Neural Networks using Neural Tangent Kernel [8.824340350342512]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することで、データの構造情報を活用するように設計されている。 半教師付きノード分類設定におけるグラフニューラルカーネルを用いて,GNNアーキテクチャの異なる側面の影響を理論的に解析する。 i) 線形ネットワークはReLUネットワークと同じくらいのクラス情報をキャプチャし、 (ii) 行正規化は、他の畳み込みよりも基礎となるクラス構造を保存し、 (iii) 過スムージングによりネットワーク深さが低下し、 (iv) スキップ接続は無限の深さでもクラス情報を保持し、過スムーズを除去する。
  論文  参考訳（メタデータ） (2022-10-18T12:28:37Z)
• High-Order Pooling for Graph Neural Networks with Tensor Decomposition [23.244580796300166]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ構造化データモデリングの有効性と柔軟性から、注目を集めている。 本稿では,高次非線形ノード相互作用をモデル化するためにテンソル分解に依存する高表現性GNNアーキテクチャであるGraphized Neural Network (tGNN)を提案する。
  論文  参考訳（メタデータ） (2022-05-24T01:12:54Z)
• Graph Neural Networks with Parallel Neighborhood Aggregations for Graph Classification [14.112444998191698]
  グラフニューラルネットワーク(GNN)モデルを用いたグラフ分類に着目し、並列に配置された近傍グラフ演算子のバンクを用いてノード特徴をプリ計算する。 これらのGNNモデルには、事前計算によるトレーニングと推論時間の削減という自然な利点がある。 本研究は,様々な実世界のデータセット上で,開発モデルが最先端の性能を達成することを数値実験により実証する。
  論文  参考訳（メタデータ） (2021-11-22T19:19:40Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• CatGCN: Graph Convolutional Networks with Categorical Node Features [99.555850712725]
  CatGCNはグラフ学習に適したノード機能である。 エンドツーエンドでCatGCNを訓練し、半教師付きノード分類でそれを実証する。
  論文  参考訳（メタデータ） (2020-09-11T09:25:17Z)
• Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
  グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。 本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。 このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
  論文  参考訳（メタデータ） (2020-02-10T06:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。