論文の概要: Rethinking Over-Smoothing in Graph Neural Networks: A Perspective from Anderson Localization

• arxiv url: http://arxiv.org/abs/2507.05263v1
• Date: Fri, 20 Jun 2025 18:54:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-13 12:05:57.548042
• Title: Rethinking Over-Smoothing in Graph Neural Networks: A Perspective from Anderson Localization
• Title（参考訳）: グラフニューラルネットワークにおける過度な平滑化の再考: Anderson のローカライゼーションから
• Authors: Kaichen Ouyang,
• Abstract要約: グラフニューラルネットワーク(GNN)は、その強力な表現能力のため、グラフデータ解析において大きな可能性を示している。 ネットワークの深さが大きくなると、過剰なスムース化の問題はより深刻になり、ノード表現はその特異性を失う。 本稿では、アンダーソンの局所化に類似したオーバー・スムーシングのメカニズムを解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have shown great potential in graph data analysis due to their powerful representation capabilities. However, as the network depth increases, the issue of over-smoothing becomes more severe, causing node representations to lose their distinctiveness. This paper analyzes the mechanism of over-smoothing through the analogy to Anderson localization and introduces participation degree as a metric to quantify this phenomenon. Specifically, as the depth of the GNN increases, node features homogenize after multiple layers of message passing, leading to a loss of distinctiveness, similar to the behavior of vibration modes in disordered systems. In this context, over-smoothing in GNNs can be understood as the expansion of low-frequency modes (increased participation degree) and the localization of high-frequency modes (decreased participation degree). Based on this, we systematically reviewed the potential connection between the Anderson localization behavior in disordered systems and the over-smoothing behavior in Graph Neural Networks. A theoretical analysis was conducted, and we proposed the potential of alleviating over-smoothing by reducing the disorder in information propagation.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、その強力な表現能力のため、グラフデータ解析において大きな可能性を示している。 しかし、ネットワークの深さが大きくなるにつれて、過度なスムース化の問題はより深刻になり、ノード表現はその特異性を失う。 本稿では、アンダーソンの局所化に類似したオーバー・スムーシングのメカニズムを解析し、この現象を定量化するための計量として参加度を導入する。 特に、GNNの深さが増加するにつれて、ノードはメッセージパッシングの複数の層が通過した後に均質化され、混乱したシステムの振動モードの挙動と同様、特異性が失われる。 この文脈では、GNNの過度な平滑化は、低周波モードの拡大(参加度の増加)と高周波モードの局所化(参加度の向上)と解釈できる。 そこで我々は,乱れたシステムにおけるアンダーソン局在化挙動とグラフニューラルネットワークにおける過度に平滑な動作との関連性について,系統的に検討した。 理論的解析を行い,情報伝達の障害を軽減し,過平滑化を緩和する可能性を提案した。

関連論文リスト

• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Geometric Graph Filters and Neural Networks: Limit Properties and Discriminability Trade-offs [122.06927400759021]
  本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。 これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-29T08:27:17Z)
• Demystifying Oversmoothing in Attention-Based Graph Neural Networks [23.853636836842604]
  グラフニューラルネットワーク(GNN)におけるオーバースムーシング(Oversmoothing in Graph Neural Networks)とは、ネットワーク深度の増加がノードの均質表現につながる現象である。 これまでの研究により、グラフ畳み込みネットワーク(GCN)は指数関数的に表現力を失うことが判明した。 グラフアテンション機構が過剰なスムースを緩和できるかどうかはまだ議論の余地がある。
  論文  参考訳（メタデータ） (2023-05-25T14:31:59Z)
• Dynamic Causal Explanation Based Diffusion-Variational Graph Neural Network for Spatio-temporal Forecasting [60.03169701753824]
  時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。 提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
  論文  参考訳（メタデータ） (2023-05-16T11:38:19Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• On the Stability of Graph Convolutional Neural Networks under Edge Rewiring [22.58110328955473]
  グラフニューラルネットワークは、機械学習コミュニティ内で人気が高まっている。 しかし、その安定性、すなわち入力中の小さな摂動に対する頑健さは、まだよく理解されていない。 我々は,グラフニューラルネットワークが高次ノード間の切り換えに安定であることを示す,解釈可能な上界モデルを開発した。
  論文  参考訳（メタデータ） (2020-10-26T17:37:58Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。