論文の概要: Analyzing the Effect of Embedding Norms and Singular Values to Oversmoothing in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2510.06066v1
• Date: Tue, 07 Oct 2025 15:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.334696
• Title: Analyzing the Effect of Embedding Norms and Singular Values to Oversmoothing in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける埋め込みノルムと特異値がオーバースムースに及ぼす影響の解析
• Authors: Dimitrios Kelesis, Dimitris Fotakis, Georgios Paliouras,
• Abstract要約: 深部グラフニューラルネット(GNN)における過密効果に寄与する要因について検討する。 MASED$は、大域的な上と下の境界を得るために集約される。 深層ネットワークにおける過度なスムース化を減らすことで,浅層ネットワークよりも優れた結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 12.876488159688506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the factors that contribute to the effect of oversmoothing in deep Graph Neural Networks (GNNs). Specifically, our analysis is based on a new metric (Mean Average Squared Distance - $MASED$) to quantify the extent of oversmoothing. We derive layer-wise bounds on $MASED$, which aggregate to yield global upper and lower distance bounds. Based on this quantification of oversmoothing, we further analyze the importance of two different properties of the model; namely the norms of the generated node embeddings, along with the largest and smallest singular values of the weight matrices. Building on the insights drawn from the theoretical analysis, we show that oversmoothing increases as the number of trainable weight matrices and the number of adjacency matrices increases. We also use the derived layer-wise bounds on $MASED$ to form a proposal for decoupling the number of hops (i.e., adjacency depth) from the number of weight matrices. In particular, we introduce G-Reg, a regularization scheme that increases the bounds, and demonstrate through extensive experiments that by doing so node classification accuracy increases, achieving robustness at large depths. We further show that by reducing oversmoothing in deep networks, we can achieve better results in some tasks than using shallow ones. Specifically, we experiment with a ``cold start" scenario, i.e., when there is no feature information for the unlabeled nodes. Finally, we show empirically the trade-off between receptive field size (i.e., number of weight matrices) and performance, using the $MASED$ bounds. This is achieved by distributing adjacency hops across a small number of trainable layers, avoiding the extremes of under- or over-parameterization of the GNN.
• Abstract（参考訳）: 本稿では,ディープグラフニューラルネット(GNN)における過度なスムース化の効果に寄与する要因について検討する。 具体的には、オーバースムーシングの度合いを定量化するための新しい計量(平均平方距離 -$MASED$)に基づいている。 MASED$は、大域的な上と下の境界を得るために集約される。 このオーバースムーシングの定量化に基づいて、モデルの2つの異なる性質、すなわち生成されたノード埋め込みのノルム、および重み行列の最大かつ最小の特異値の重要性をさらに分析する。 理論解析から得られた知見に基づいて, トレーニング可能な重量行列の数や隣接行列の数が増えるにつれて, 過密化が増加することを示す。 また、$MASED$ 上の導出した層ワイド境界を用いて、ウェイト行列の数からホップ数(すなわち、隣接深さ)を分離する提案を形成する。 特に,境界を増大させる正規化スキームであるG-Regを導入し,ノード分類の精度を向上し,大きな深さで頑健性が得られることを示す。 さらに,深層ネットワークにおける過度なスムース化を減らすことで,浅層ネットワークよりも優れた結果が得られることを示す。 具体的には,未ラベルノードに機能情報がない場合に,‘cold start’というシナリオを実験する。 最後に、MASED$バウンダリを用いて、受容体サイズ(例えば、重み行列の数)と性能のトレードオフを実証的に示す。 これは、少数のトレーニング可能な層に隣接ホップを分散することで実現され、GNNの過度なパラメータ化や過度なパラメータ化を避けることができる。

関連論文リスト

• Rethinking Oversmoothing in Graph Neural Networks: A Rank-Based Perspective [5.482832675034467]
  ランクベースのメトリクスが常に過剰なスムースを捉えるのに対して、エネルギーベースのメトリクスは失敗することが多いことを示す。 特に,エネルギー指標が変化しないシナリオにおいても,ランクの大幅な低下が性能劣化と密接に一致していることが明らかになった。
  論文  参考訳（メタデータ） (2025-02-07T00:55:05Z)
• Generalization of Geometric Graph Neural Networks with Lipschitz Loss Functions [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 複数の実世界のデータセットに対する実験により、この理論結果を検証する。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
  我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。 これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Deep neural networks with dependent weights: Gaussian Process mixture limit, heavy tails, sparsity and compressibility [18.531464406721412]
  本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。 ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
  論文  参考訳（メタデータ） (2022-05-17T09:14:32Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。