論文の概要: Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2308.16800v1
• Date: Thu, 31 Aug 2023 15:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 13:52:27.954908
• Title: Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおけるランク崩壊と過度相関
• Authors: Andreas Roth, Thomas Liebig
• Abstract要約: 本研究は,ディープグラフニューラルネットワークにおけるオーバー・スムーシングとオーバー・相関性に関する新たな理論的知見を明らかにする。 不変部分空間の有意性を示し、特徴変換の影響を受けない固定相対的挙動を示す。 我々は、経験的に洞察を非線形の場合にまで拡張し、既存のモデルが線形独立な特徴をキャプチャできないことを示す。
• 参考スコア（独自算出の注目度）: 4.213427823201119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our study reveals new theoretical insights into over-smoothing and feature over-correlation in deep graph neural networks. We show the prevalence of invariant subspaces, demonstrating a fixed relative behavior that is unaffected by feature transformations. Our work clarifies recent observations related to convergence to a constant state and a potential over-separation of node states, as the amplification of subspaces only depends on the spectrum of the aggregation function. In linear scenarios, this leads to node representations being dominated by a low-dimensional subspace with an asymptotic convergence rate independent of the feature transformations. This causes a rank collapse of the node representations, resulting in over-smoothing when smooth vectors span this subspace, and over-correlation even when over-smoothing is avoided. Guided by our theory, we propose a sum of Kronecker products as a beneficial property that can provably prevent over-smoothing, over-correlation, and rank collapse. We empirically extend our insights to the non-linear case, demonstrating the inability of existing models to capture linearly independent features.
• Abstract（参考訳）: 本研究では,ディープグラフニューラルネットワークにおけるオーバースムーシングに関する新たな理論的知見と,オーバー相関を特徴とする。 本稿では,不変部分空間の発生率を示し,特徴変換に影響を受けない固定相対挙動を示す。 本研究は,部分空間の増幅は凝集関数のスペクトルにのみ依存するため,定数状態への収束とノード状態の潜在的オーバー分離に関する最近の観測を明確にする。 線形シナリオでは、ノード表現は特徴変換とは無関係に漸近収束率を持つ低次元部分空間によって支配される。 これによりノード表現のランクが崩壊し、滑らかなベクトルがこの部分空間にまたがる場合のオーバースモーシングと、オーバースモーシングを避ける場合であってもオーバー相関が発生する。 本理論に導かれたクロネッカー積の和は, 過剰なスムーシング, 過剰相関, ランク崩壊を確実に防止する有益な性質として提案する。 我々は経験的に洞察を非線形の場合にまで拡張し、既存のモデルが線形独立な特徴をキャプチャできないことを示す。

関連論文リスト

• Unitary convolutions for learning on graphs and groups [0.9899763598214121]
  我々は、訓練中により安定したより深いネットワークを可能にするユニタリグループ畳み込みについて研究する。 論文の主な焦点はグラフニューラルネットワークであり、ユニタリグラフの畳み込みがオーバー・スムーシングを確実に回避していることを示す。 実験結果から,ベンチマークデータセット上でのユニタリグラフ畳み込みネットワークの競合性能が確認できた。
  論文  参考訳（メタデータ） (2024-10-07T21:09:14Z)
• LSEnet: Lorentz Structural Entropy Neural Network for Deep Graph Clustering [59.89626219328127]
  グラフクラスタリングは機械学習の基本的な問題である。 近年、ディープラーニング手法は最先端の成果を達成しているが、事前に定義されたクラスタ番号なしでは動作できない。 本稿では,グラフ情報理論の新たな視点からこの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:46:41Z)
• Learning to Approximate Adaptive Kernel Convolution on Graphs [4.434835769977399]
  本稿では,拡散カーネルのスケールによって特徴集約の範囲を制御できる拡散学習フレームワークを提案する。 本モデルは,最先端データセットの性能評価のためのノードワイズ分類のための様々な標準で検証されている。 グラフ分類のための実世界の脳ネットワークデータにも検証され、アルツハイマー分類の実用性を実証している。
  論文  参考訳（メタデータ） (2024-01-22T10:57:11Z)
• A Neural Collapse Perspective on Feature Evolution in Graph Neural Networks [44.31777384413466]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。 本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。 我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
  論文  参考訳（メタデータ） (2023-07-04T23:03:21Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding [0.0]
  我々は,グラフニューラルネットワーク(GNN)の大規模グラフに対する理論的理解を深めることを目指しており,その表現力に着目している。 近年、GNNは、非常に一般的なランダムグラフモデルにおいて、ノード数が増加するにつれて、特定の関数に収束することを示した。
  論文  参考訳（メタデータ） (2023-05-24T07:09:53Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Neural Networks with Composite Kernels [60.81504431653264]
  カーネル重み付けの観点からノード集約を再解釈する。 本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。 特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
  論文  参考訳（メタデータ） (2020-05-16T04:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。