論文の概要: Residual connections provably mitigate oversmoothing in graph neural networks

• arxiv url: http://arxiv.org/abs/2501.00762v2
• Date: Sat, 04 Jan 2025 03:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:29.080508
• Title: Residual connections provably mitigate oversmoothing in graph neural networks
• Title（参考訳）: グラフニューラルネットワークにおける残余接続による過剰なスムース化の抑制
• Authors: Ziang Chen, Zhengjiang Lin, Shi Chen, Yury Polyanskiy, Philippe Rigollet,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題が続き、表現的特徴が深いGNNではほとんど区別できないようになる。 本研究では,GNNの残差と非残差を考慮した過平滑化速度を解析する。
• 参考スコア（独自算出の注目度）: 33.548465692402765
• License:
• Abstract: Graph neural networks (GNNs) have achieved remarkable empirical success in processing and representing graph-structured data across various domains. However, a significant challenge known as "oversmoothing" persists, where vertex features become nearly indistinguishable in deep GNNs, severely restricting their expressive power and practical utility. In this work, we analyze the asymptotic oversmoothing rates of deep GNNs with and without residual connections by deriving explicit convergence rates for a normalized vertex similarity measure. Our analytical framework is grounded in the multiplicative ergodic theorem. Furthermore, we demonstrate that adding residual connections effectively mitigates or prevents oversmoothing across several broad families of parameter distributions. The theoretical findings are strongly supported by numerical experiments.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題は、頂点の特徴が深いGNNでほとんど区別不能になり、表現力と実用性を厳しく制限するものである。 本研究では,正規化された頂点類似度尺度に対する明示的な収束率を導出することにより,GNNの残差接続を伴わない漸近的過平滑化速度を解析する。 解析的枠組みは乗法的エルゴード定理に基礎を置いている。 さらに,残余接続を付加することで,パラメータ分布の広いファミリー間での過度なスムーシングを効果的に緩和あるいは防止できることを示す。 理論的な結果は数値実験によって強く支持されている。

関連論文リスト

• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Understanding Virtual Nodes: Oversmoothing, Oversquashing, and Node Heterogeneity [4.59357989139429]
  仮想ノード(VN)によるMPNNの拡張は、さまざまなベンチマークのパフォーマンス向上に寄与している。 VNは、通常、表現力を維持するための非平滑化アプローチの複製を避ける。 グラフ構造に基づいてノードに対して異なる感度を持つ計算複雑性を持つVNの変種を提案する。
  論文  参考訳（メタデータ） (2024-05-22T10:51:12Z)
• Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
  ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。 最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。 我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
  論文  参考訳（メタデータ） (2023-11-27T15:51:07Z)
• A Survey on Oversmoothing in Graph Neural Networks [27.898197360068146]
  グラフニューラルネットワーク(GNN)のノード機能は、ネットワーク深さの増加とよく似ている。 我々は,ノード特徴に対する適切な類似度尺度の指数収束を公理的に定義する。 我々は、異なるグラフ上のいくつかのオーバースムーシング測度に対して、この振舞いを実証的に示す。 我々は超平滑化の定義を、急速に発展する連続時間GNNの分野に拡張する。
  論文  参考訳（メタデータ） (2023-03-20T10:21:29Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss [17.39060566854841]
  グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 深いGCNが過スムージング問題に苦しむことはよく知られています。 深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
  論文  参考訳（メタデータ） (2021-03-03T11:06:12Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。