論文の概要: Adaptive Initial Residual Connections for GNNs with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2511.06598v1
• Date: Mon, 10 Nov 2025 01:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.014392
• Title: Adaptive Initial Residual Connections for GNNs with Theoretical Guarantees
• Title（参考訳）: 理論的保証を有するGNNの適応的初期残差接続
• Authors: Mohammad Shirzadi, Ali Safarpoor Dehkordi, Ahad N. Zehmakan,
• Abstract要約: 異なるノードが異なる残差強度を持つ適応的残差スキームについて検討する。 特に、埋め込みのディリクレエネルギーがゼロから離れていることを示す。 これはアダプティブな設定だけでなく、アクティベーション関数との静的な残留接続に対しても初めて理論上の保証となる。
• 参考スコア（独自算出の注目度）: 7.831509538890674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing is the core operation in graph neural networks, where each node updates its embeddings by aggregating information from its neighbors. However, in deep architectures, this process often leads to diminished expressiveness. A popular solution is to use residual connections, where the input from the current (or initial) layer is added to aggregated neighbor information to preserve embeddings across layers. Following a recent line of research, we investigate an adaptive residual scheme in which different nodes have varying residual strengths. We prove that this approach prevents oversmoothing; particularly, we show that the Dirichlet energy of the embeddings remains bounded away from zero. This is the first theoretical guarantee not only for the adaptive setting, but also for static residual connections (where residual strengths are shared across nodes) with activation functions. Furthermore, extensive experiments show that this adaptive approach outperforms standard and state-of-the-art message passing mechanisms, especially on heterophilic graphs. To improve the time complexity of our approach, we introduce a variant in which residual strengths are not learned but instead set heuristically, a choice that performs as well as the learnable version.
• Abstract（参考訳）: メッセージパッシングはグラフニューラルネットワークの中核的な操作であり、各ノードは隣人からの情報を集約することで埋め込みを更新する。 しかし、深いアーキテクチャでは、このプロセスはしばしば表現力の低下につながる。 一般的な解決策は、現在の(または初期)レイヤからの入力を集約された隣の情報に追加して、層間の埋め込みを保存する、残留接続を使用することである。 近年の研究では、異なるノードが異なる残差強度を持つ適応的残差スキームについて検討している。 特に、埋め込みのディリクレエネルギーがゼロから離れていることを示す。 これは適応的な設定だけでなく、アクティベーション関数を持つ静的な残留接続(ノード間で残留強度が共有される)に対しても初めての理論的保証である。 さらに、この適応的アプローチは、特にヘテロ親和性グラフにおいて、標準および最先端のメッセージパッシング機構よりも優れていることを示す。 提案手法の時間的複雑さを改善するために,残留強度を学習せず,ヒューリスティックに設定した変種を導入する。

関連論文リスト

• Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs [30.003409099607204]
  残差接続と正規化層を有する(線形化)グラフニューラルネットワーク(GNN)の形式的かつ正確な特徴付けを提供する。 正規化層の中心となるステップは、メッセージパッシングにおけるグラフ信号を変化させ、関連する情報を抽出しにくくすることを示す。 本稿では,グラフNormv2と呼ばれる新しい正規化レイヤを導入し,その中心となるステップを学習することで,元のグラフ信号を望ましくない方法で歪ませないようにする。
  論文  参考訳（メタデータ） (2024-06-05T06:53:16Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path Decomposition Perspective for Preventing the Over-smoothing [50.242926616772515]
  近年の研究では、残りの結合を持つGNNが変性をわずかに遅らせていることが示されている。 本稿では,新しい経路分解の観点からの残差接続を有するGNNの前方・後方挙動について検討する。 コールドスタート適応残差接続(DRIVE)とフィードフォワードモジュールを備えたUniversal Deep GNNsフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T14:19:45Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。