論文の概要: Residual connections provably mitigate oversmoothing in graph neural networks

• arxiv url: http://arxiv.org/abs/2501.00762v2
• Date: Sat, 04 Jan 2025 03:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:29.080508
• Title: Residual connections provably mitigate oversmoothing in graph neural networks
• Title（参考訳）: グラフニューラルネットワークにおける残余接続による過剰なスムース化の抑制
• Authors: Ziang Chen, Zhengjiang Lin, Shi Chen, Yury Polyanskiy, Philippe Rigollet,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題が続き、表現的特徴が深いGNNではほとんど区別できないようになる。 本研究では,GNNの残差と非残差を考慮した過平滑化速度を解析する。
• 参考スコア（独自算出の注目度）: 33.548465692402765
• License:
• Abstract: Graph neural networks (GNNs) have achieved remarkable empirical success in processing and representing graph-structured data across various domains. However, a significant challenge known as "oversmoothing" persists, where vertex features become nearly indistinguishable in deep GNNs, severely restricting their expressive power and practical utility. In this work, we analyze the asymptotic oversmoothing rates of deep GNNs with and without residual connections by deriving explicit convergence rates for a normalized vertex similarity measure. Our analytical framework is grounded in the multiplicative ergodic theorem. Furthermore, we demonstrate that adding residual connections effectively mitigates or prevents oversmoothing across several broad families of parameter distributions. The theoretical findings are strongly supported by numerical experiments.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題は、頂点の特徴が深いGNNでほとんど区別不能になり、表現力と実用性を厳しく制限するものである。 本研究では,正規化された頂点類似度尺度に対する明示的な収束率を導出することにより,GNNの残差接続を伴わない漸近的過平滑化速度を解析する。 解析的枠組みは乗法的エルゴード定理に基礎を置いている。 さらに,残余接続を付加することで,パラメータ分布の広いファミリー間での過度なスムーシングを効果的に緩和あるいは防止できることを示す。 理論的な結果は数値実験によって強く支持されている。

関連論文リスト

• Rethinking Oversmoothing in Graph Neural Networks: A Rank-Based Perspective [5.482832675034467]
  ランクベースのメトリクスが常に過剰なスムースを捉えるのに対して、エネルギーベースのメトリクスは失敗することが多いことを示す。 特に,エネルギー指標が変化しないシナリオにおいても,ランクの大幅な低下が性能劣化と密接に一致していることが明らかになった。
  論文  参考訳（メタデータ） (2025-02-07T00:55:05Z)
• Consistency of augmentation graph and network approximability in contrastive learning [3.053989095162017]
  拡張グラフ Laplacian の点次およびスペクトルの整合性について解析する。 ラプラシアンは自然データ多様体上の重み付きラプラス・ベルトラミ作用素に収束することを示す。 これらの整合性は、グラフラプラシアスペクトルが多様体幾何学を効果的に捉えることを保証する。
  論文  参考訳（メタデータ） (2025-02-06T18:55:51Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• A Survey on Oversmoothing in Graph Neural Networks [27.898197360068146]
  グラフニューラルネットワーク(GNN)のノード機能は、ネットワーク深さの増加とよく似ている。 我々は,ノード特徴に対する適切な類似度尺度の指数収束を公理的に定義する。 我々は、異なるグラフ上のいくつかのオーバースムーシング測度に対して、この振舞いを実証的に示す。 我々は超平滑化の定義を、急速に発展する連続時間GNNの分野に拡張する。
  論文  参考訳（メタデータ） (2023-03-20T10:21:29Z)
• Understanding Oversquashing in GNNs through the Lens of Effective Resistance [9.640594614636047]
  本研究では,入力グラフに付加されるエッジを同定し,全体の有効抵抗を最小限に抑えるアルゴリズムを開発し,オーバーカッシングを緩和する。 我々は,GNNの性能向上のための総合的有効抵抗に基づくスイッチング戦略の有効性を示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2023-02-14T05:16:12Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss [17.39060566854841]
  グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 深いGCNが過スムージング問題に苦しむことはよく知られています。 深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
  論文  参考訳（メタデータ） (2021-03-03T11:06:12Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。