論文の概要: Rethinking Oversmoothing in Graph Neural Networks: A Rank-Based Perspective
- arxiv url: http://arxiv.org/abs/2502.04591v2
- Date: Sun, 16 Feb 2025 10:57:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:07:39.820260
- Title: Rethinking Oversmoothing in Graph Neural Networks: A Rank-Based Perspective
- Title（参考訳）: グラフニューラルネットワークにおける過剰スムーシングの再考:ランクに基づく視点
- Authors: Kaicheng Zhang, Piero Deidda, Desmond Higham, Francesco Tudisco,
- Abstract要約: ランクベースのメトリクスが常に過剰なスムースを捉えるのに対して、エネルギーベースのメトリクスは失敗することが多いことを示す。
特に,エネルギー指標が変化しないシナリオにおいても,ランクの大幅な低下が性能劣化と密接に一致していることが明らかになった。
- 参考スコア（独自算出の注目度）: 5.482832675034467
- License:
- Abstract: Oversmoothing is a fundamental challenge in graph neural networks (GNNs): as the number of layers increases, node embeddings become increasingly similar, and model performance drops sharply. Traditionally, oversmoothing has been quantified using metrics that measure the similarity of neighbouring node features, such as the Dirichlet energy. While these metrics are related to oversmoothing, we argue they have critical limitations and fail to reliably capture oversmoothing in realistic scenarios. For instance, they provide meaningful insights only for very deep networks and under somewhat strict conditions on the norm of network weights and feature representations. As an alternative, we propose measuring oversmoothing by examining the numerical or effective rank of the feature representations. We provide theoretical support for this approach, demonstrating that the numerical rank of feature representations converges to one for a broad family of nonlinear activation functions under the assumption of nonnegative trained weights. To the best of our knowledge, this is the first result that proves the occurrence of oversmoothing without assumptions on the boundedness of the weight matrices. Along with the theoretical findings, we provide extensive numerical evaluation across diverse graph architectures. Our results show that rank-based metrics consistently capture oversmoothing, whereas energy-based metrics often fail. Notably, we reveal that a significant drop in the rank aligns closely with performance degradation, even in scenarios where energy metrics remain unchanged.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の基本的課題は、レイヤの数が増えるにつれて、ノードの埋め込みはますます類似し、モデルのパフォーマンスは急激に低下する。
伝統的に、オーバースムーシングはディリクレエネルギーのような近隣のノードの特徴の類似度を測定する指標を用いて定量化されてきた。
これらのメトリクスは過剰なスムースに関係していますが、重要な制限があり、現実的なシナリオで過大なスムースを確実に捉えられません。
例えば、非常に深いネットワークに対してのみ有意義な洞察を提供し、ネットワーク重みと特徴表現のノルムに関してやや厳密な条件下にある。
代案として,特徴表現の数値的あるいは効果的なランクを検証し,過度に平滑化を測定することを提案する。
提案手法の理論的サポートとして,非負のトレーニングされた重みの仮定の下で,特徴表現の数値ランクが広範な非線形活性化関数の族に収束することを示す。
我々の知る限りでは、これはウェイト行列の有界性に関する仮定なしで過度に平滑化の発生を証明した最初の結果である。
理論的な知見とともに,多種多様なグラフアーキテクチャにまたがる広範な数値評価を提供する。
以上の結果から,ランクベースの指標が常に過度なスムージングを捉えているのに対して,エネルギーベースの指標は失敗することが多いことが示唆された。
特に,エネルギー指標が変化しないシナリオにおいても,ランクの大幅な低下が性能劣化と密接に一致していることが明らかになった。
関連論文リスト
- Multitask Active Learning for Graph Anomaly Detection [48.690169078479116]
MultItask acTIve Graph Anomaly Detection framework,すなわちMITIGATEを提案する。
ノード分類タスクを結合することにより、MITIGATEは既知の異常を伴わずに配布外ノードを検出する能力を得る。
4つのデータセットに関する実証的研究は、MITIGATEが異常検出のための最先端の手法を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2024-01-24T03:43:45Z) - On Discprecncies between Perturbation Evaluations of Graph Neural
Network Attributions [49.8110352174327]
我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。
中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。
我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
論文 参考訳（メタデータ） (2024-01-01T02:03:35Z) - A Survey on Oversmoothing in Graph Neural Networks [27.898197360068146]
グラフニューラルネットワーク(GNN)のノード機能は、ネットワーク深さの増加とよく似ている。
我々は,ノード特徴に対する適切な類似度尺度の指数収束を公理的に定義する。
我々は、異なるグラフ上のいくつかのオーバースムーシング測度に対して、この振舞いを実証的に示す。
我々は超平滑化の定義を、急速に発展する連続時間GNNの分野に拡張する。
論文 参考訳（メタデータ） (2023-03-20T10:21:29Z) - Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph
Matching [68.35685422301613]
そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。
ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。
合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
論文 参考訳（メタデータ） (2023-01-07T05:14:45Z) - Understanding convolution on graphs via energies [23.18124653469668]
グラフネットワーク(GNN)は一般的にメッセージパッシングによって動作し、隣人から受信した情報に基づいてノードの状態が更新される。
ほとんどのメッセージパッシングモデルはグラフ畳み込みとして機能し、エッジ上に伝播する前に共有された線形変換によって特徴が混合される。
ノード分類タスクでは、グラフの畳み込みには2つの制限がある。
論文 参考訳（メタデータ） (2022-06-22T11:45:36Z) - Implicit vs Unfolded Graph Neural Networks [18.084842625063082]
グラフニューラルネットワーク(GNN)は、長期依存のモデリングと意図しない結果の回避の間の健全なバランスを維持するのに苦労することがある。
最近、2つの戦略、すなわち暗黙と展開されたGNNが提案されている。
我々は、様々な合成および公的な実世界のベンチマークに対して、実験的な頭と頭の比較を行う。
論文 参考訳（メタデータ） (2021-11-12T07:49:16Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳（メタデータ） (2021-10-12T18:12:23Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z) - A Note on Over-Smoothing for Graph Neural Networks [13.008323851750442]
我々は、一般的なグラフニューラルネットワークアーキテクチャにおけるオーバースムーシング効果を分析するために、以前の結果であるciteoono 2019graphに基づいて構築する。
重み行列が拡張正規化ラプラシアンのスペクトルによって決定される条件を満たすとき、埋め込みのディリクレエネルギーは 0 に収束し、判別力を失う。
論文 参考訳（メタデータ） (2020-06-23T20:36:56Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Residual Correlation in Graph Neural Network Regression [39.54530450932135]
我々は条件付き独立仮定が予測力を著しく制限していることを示します。
この問題を解釈可能かつ効率的なフレームワークで解決する。
我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
論文 参考訳（メタデータ） (2020-02-19T16:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。