論文の概要: Exploring and Improving Initialization for Deep Graph Neural Networks: A Signal Propagation Perspective

• arxiv url: http://arxiv.org/abs/2506.16790v1
• Date: Fri, 20 Jun 2025 07:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.363036
• Title: Exploring and Improving Initialization for Deep Graph Neural Networks: A Signal Propagation Perspective
• Title（参考訳）: ディープグラフニューラルネットワークの初期化の探索と改善:信号伝搬の視点から
• Authors: Senmiao Wang, Yupeng Chen, Yushun Zhang, Ruoyu Sun, Tian Ding,
• Abstract要約: グラフニューラルネットワーク(GNN)は、ネットワークの深さが増加するにつれて性能が低下することが多い。 本稿では,GNN内の信号伝搬(SP)を向上する手法を導入することにより,この問題に対処する。 GNNにおける有効SPの3つの重要な指標として、前方伝播、後方伝播、グラフ埋め込み変動(GEV)を提案する。
• 参考スコア（独自算出の注目度）: 9.711799806641684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) often suffer from performance degradation as the network depth increases. This paper addresses this issue by introducing initialization methods that enhance signal propagation (SP) within GNNs. We propose three key metrics for effective SP in GNNs: forward propagation, backward propagation, and graph embedding variation (GEV). While the first two metrics derive from classical SP theory, the third is specifically designed for GNNs. We theoretically demonstrate that a broad range of commonly used initialization methods for GNNs, which exhibit performance degradation with increasing depth, fail to control these three metrics simultaneously. To deal with this limitation, a direct exploitation of the SP analysis--searching for weight initialization variances that optimize the three metrics--is shown to significantly enhance the SP in deep GCNs. This approach is called Signal Propagation on Graph-guided Initialization (SPoGInit). Our experiments demonstrate that SPoGInit outperforms commonly used initialization methods on various tasks and architectures. Notably, SPoGInit enables performance improvements as GNNs deepen, which represents a significant advancement in addressing depth-related challenges and highlights the validity and effectiveness of the SP analysis framework.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、ネットワークの深さが増加するにつれて性能が低下することが多い。 本稿では,GNN内の信号伝搬(SP)を向上する初期化手法を導入することにより,この問題に対処する。 本稿では,GNNにおける有効SPの指標として,前方伝搬,後方伝搬,グラフ埋め込み変動(GEV)の3つを提案する。 最初の2つのメトリクスは古典的なSP理論に由来するが、第3のメトリクスはGNN向けに特別に設計されている。 本稿では,GNN の初期化手法の幅が広く,より深度の高い性能劣化を示すが,これら3つの指標を同時に制御できないことを理論的に示す。 この制限に対処するため、SP解析の直接的利用 - 3つのメトリクスを最適化する重み付け初期化分散を探索することで、深いGCNにおけるSPを大幅に強化する。 この手法は、グラフ誘導初期化(SPoGInit)に関するシグナル伝搬と呼ばれる。 実験の結果、SPoGInitは様々なタスクやアーキテクチャでよく使われる初期化手法よりも優れていた。 特に SPoGInit は GNN の深層化によるパフォーマンス向上を実現しており,SP 分析フレームワークの有効性と有効性を強調している。

関連論文リスト

• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• Attentional Graph Neural Network Is All You Need for Robust Massive Network Localization [26.85290529046327]
  我々は,大規模ネットワークローカライゼーションという重要な非線形回帰問題に対処するための注意機構を備えたグラフニューラルネットワーク(GNN)を設計する。 グラフ畳み込みネットワーク(GCN)に基づく従来のネットワークローカライゼーション手法について概観する。 拡張として,GCN方式の感度閾値決定問題を解決するために,特別に設計された注意型GNN (AGNN) モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-28T15:05:13Z)
• Prioritized Propagation in Graph Neural Networks [17.749916004704442]
  本稿では,GNNにおいて優先度付けされたノード単位のメッセージ伝達を学習するための汎用フレームワークPProを提案する。 具体的には、バックボーンGNNモデルと、ノードの最適な伝搬ステップを決定する伝搬制御器と、ノードの優先度スコアを計算する重み制御器とから構成される。 8つのベンチマークデータセット上で、我々のフレームワークを他の11の最先端の競合と比較するために、広範な実験を行います。
  論文  参考訳（メタデータ） (2023-11-06T02:38:35Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks [99.46182575751271]
  グラフニューラルネットワーク(GNN)の2つの一次クラスに対する一般化境界を導出する。 その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T16:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。