論文の概要: Understanding Virtual Nodes: Oversquashing and Node Heterogeneity

• arxiv url: http://arxiv.org/abs/2405.13526v2
• Date: Fri, 28 Feb 2025 09:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:37:50.775599
• Title: Understanding Virtual Nodes: Oversquashing and Node Heterogeneity
• Title（参考訳）: 仮想ノードを理解する:オーバーウォーキングとノードの不均一性
• Authors: Joshua Southern, Francesco Di Giovanni, Michael Bronstein, Johannes F. Lutzeyer,
• Abstract要約: 仮想ノード(VN)によるMPNNの拡張は、さまざまなベンチマークのパフォーマンス向上に寄与している。 我々は,VNの役割とその利益に関する包括的理論的分析を行った。 グラフ構造に基づいてノードに対して異なる感度を持つ計算複雑性を持つVNの変種を提案する。
• 参考スコア（独自算出の注目度）: 4.59357989139429
• License:
• Abstract: While message passing neural networks (MPNNs) have convincing success in a range of applications, they exhibit limitations such as the oversquashing problem and their inability to capture long-range interactions. Augmenting MPNNs with a virtual node (VN) removes the locality constraint of the layer aggregation and has been found to improve performance on a range of benchmarks. We provide a comprehensive theoretical analysis of the role of VNs and benefits thereof, through the lenses of oversquashing and sensitivity analysis. First, we characterize, precisely, how the improvement afforded by VNs on the mixing abilities of the network and hence in mitigating oversquashing, depends on the underlying topology. We then highlight that, unlike Graph-Transformers (GTs), classical instantiations of the VN are often constrained to assign uniform importance to different nodes. Consequently, we propose a variant of VN with the same computational complexity, which can have different sensitivity to nodes based on the graph structure. We show that this is an extremely effective and computationally efficient baseline for graph-level tasks.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は、様々なアプリケーションで成功をおさめているが、過度な問題や長距離通信をキャプチャできないといった制限がある。 仮想ノード(VN)でMPNNを拡張することで、レイヤアグリゲーションの局所性制約が取り除かれ、さまざまなベンチマークのパフォーマンスが向上することが判明した。 オーバーシャッシングおよび感度分析のレンズを通して,VNの役割とそのメリットを包括的に理論的に分析する。 まず,ネットワークの混合能力にVNが与える改善が,その基盤となるトポロジに依存することを特徴付ける。 次に、グラフ変換器(GT)とは異なり、VNの古典的なインスタンス化は、しばしば異なるノードに一様重要性を割り当てるように制約される。 その結果,グラフ構造に基づくノードに対する感度の異なる計算複雑性を持つVNの変種を提案する。 グラフレベルのタスクにおいて,これは極めて効率的かつ計算的に効率的なベースラインであることを示す。

関連論文リスト

• A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks [18.185834696177654]
  グラフニューラルネットワーク(GNN)のオーバースムース化は、ネットワークの深さが増加するにつれて大きな課題となる。 オーバースムーシングの根本原因を特定し,textbftextitDYNAMO-GATを提案する。 我々の理論的分析は、DYNAMO-GATが過密状態への収束を妨げていることを示している。
  論文  参考訳（メタデータ） (2024-12-10T07:07:06Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• GNN-VPA: A Variance-Preserving Aggregation Strategy for Graph Neural Networks [11.110435047801506]
  本稿では, 分散保存アグリゲーション関数 (VPA) を提案する。 その結果, 正常化フリー, 自己正規化GNNへの道を開くことができた。
  論文  参考訳（メタデータ） (2024-03-07T18:52:27Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。