論文の概要: Understanding Virtual Nodes: Oversmoothing, Oversquashing, and Node Heterogeneity

• arxiv url: http://arxiv.org/abs/2405.13526v1
• Date: Wed, 22 May 2024 10:51:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:34:02.879811
• Title: Understanding Virtual Nodes: Oversmoothing, Oversquashing, and Node Heterogeneity
• Title（参考訳）: 仮想ノードを理解する - オーバースムーシング、オーバースキャッシング、ノードの不均一性
• Authors: Joshua Southern, Francesco Di Giovanni, Michael Bronstein, Johannes F. Lutzeyer,
• Abstract要約: 仮想ノード(VN)によるMPNNの拡張は、さまざまなベンチマークのパフォーマンス向上に寄与している。 VNは、通常、表現力を維持するための非平滑化アプローチの複製を避ける。 グラフ構造に基づいてノードに対して異なる感度を持つ計算複雑性を持つVNの変種を提案する。
• 参考スコア（独自算出の注目度）: 4.59357989139429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing neural networks (MPNNs) have been shown to have limitations in terms of expressivity and modeling long-range interactions. Augmenting MPNNs with a virtual node (VN) removes the locality constraint of the layer aggregation and has been found to improve performance on a range of benchmarks. We provide a comprehensive theoretical analysis of the role of VNs and benefits thereof, through the lenses of oversmoothing, oversquashing, and sensitivity analysis. First, in contrast to prior belief, we find that VNs typically avoid replicating anti-smoothing approaches to maintain expressive power. Second, we characterize, precisely, how the improvement afforded by VNs on the mixing abilities of the network and hence in mitigating oversquashing, depends on the underlying topology. Finally, we highlight that, unlike Graph-Transformers (GT), classical instantiations of the VN are often constrained to assign uniform importance to different nodes. Consequently, we propose a variant of VN with the same computational complexity, which can have different sensitivity to nodes based on the graph structure. We show that this is an extremely effective and computationally efficient baseline on graph-level tasks.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は、表現性や長距離相互作用のモデル化に制限があることが示されている。 仮想ノード(VN)でMPNNを拡張することで、レイヤアグリゲーションの局所性制約が取り除かれ、さまざまなベンチマークのパフォーマンスが向上することが判明した。 本稿では,VNの役割の包括的理論的解析と,そのメリットについて,過密化,過密化,感度分析のレンズを用いて検討する。 第一に、以前の信念とは対照的に、VNは表現力を維持するために反平滑化アプローチの複製を避けるのが普通である。 第二に、ネットワークの混合能力にVNが与える改善がいかにして過疎化を緩和するかは、基礎となるトポロジに依存する。 最後に、グラフ変換器(GT)とは異なり、VNの古典的なインスタンス化は、しばしば異なるノードに一様重要性を割り当てるために制約される。 その結果,グラフ構造に基づくノードに対する感度の異なる計算複雑性を持つVNの変種を提案する。 これはグラフレベルのタスクにおいて,極めて効率的かつ計算的に効率的なベースラインであることを示す。

関連論文リスト

• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks [11.110435047801506]
  本稿では, 分散保存アグリゲーション関数 (VPA) を提案する。 その結果, 正常化フリー, 自己正規化GNNへの道を開くことができた。
  論文  参考訳（メタデータ） (2024-03-07T18:52:27Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Revisiting Heterophily For Graph Neural Networks [42.41238892727136]
  グラフニューラルネットワーク(GNN)は、関係帰納バイアスに基づくグラフ構造を用いて基本ニューラルネットワーク(NN)を拡張する(ホモフィリー仮定) 最近の研究は、NNと比較してパフォーマンスが不十分な、非自明なデータセットのセットを特定している。
  論文  参考訳（メタデータ） (2022-10-14T08:00:26Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。