論文の概要: Unifying over-smoothing and over-squashing in graph neural networks: A
physics informed approach and beyond
- arxiv url: http://arxiv.org/abs/2309.02769v2
- Date: Wed, 13 Sep 2023 00:17:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 17:01:12.352675
- Title: Unifying over-smoothing and over-squashing in graph neural networks: A
physics informed approach and beyond
- Title（参考訳）: グラフニューラルネットワークにおける過密化と過密化の統一:物理情報に基づくアプローチ
- Authors: Zhiqi Shao, Dai Shi, Andi Han, Yi Guo, Qibin Zhao, Junbin Gao
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの機械学習における主要なアプローチの1つである。
過密化、過密化、限られた表現力といった重要な計算課題は、GNNの性能に影響を与え続けている。
本稿では,マルチスケールヒートカーネルベースGNN (MHKG) を導入し,多様なフィルタ関数がノード特性に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 45.370565281567984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) have emerged as one of the leading approaches
for machine learning on graph-structured data. Despite their great success,
critical computational challenges such as over-smoothing, over-squashing, and
limited expressive power continue to impact the performance of GNNs. In this
study, inspired from the time-reversal principle commonly utilized in classical
and quantum physics, we reverse the time direction of the graph heat equation.
The resulted reversing process yields a class of high pass filtering functions
that enhance the sharpness of graph node features. Leveraging this concept, we
introduce the Multi-Scaled Heat Kernel based GNN (MHKG) by amalgamating diverse
filtering functions' effects on node features. To explore more flexible
filtering conditions, we further generalize MHKG into a model termed G-MHKG and
thoroughly show the roles of each element in controlling over-smoothing,
over-squashing and expressive power. Notably, we illustrate that all
aforementioned issues can be characterized and analyzed via the properties of
the filtering functions, and uncover a trade-off between over-smoothing and
over-squashing: enhancing node feature sharpness will make model suffer more
from over-squashing, and vice versa. Furthermore, we manipulate the time again
to show how G-MHKG can handle both two issues under mild conditions. Our
conclusive experiments highlight the effectiveness of proposed models. It
surpasses several GNN baseline models in performance across graph datasets
characterized by both homophily and heterophily.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データの機械学習における主要なアプローチの1つである。
その大きな成功にもかかわらず、過密、過密、限られた表現力といった重要な計算課題がGNNの性能に影響を与え続けている。
本研究では,古典・量子物理学で一般的に用いられる時間反転原理に着想を得て,グラフ熱方程式の時間方向を逆転する。
その結果、反転処理はグラフノードの特徴のシャープさを高める高パスフィルタリング関数のクラスを生成する。
この概念を生かしたマルチスケールヒートカーネルベースGNN(MHKG)を導入する。
より柔軟なフィルタリング条件を探るため,我々はさらにg-mhkgと呼ばれるモデルにmhkgを一般化し,オーバースムーシング,オーバースケーシング,表現力の制御における各要素の役割を徹底的に示す。
特に、上記の問題はすべて、フィルタリング関数の特性によって特徴づけ、分析することができ、過度なスムースメントと過度なスキャッシングのトレードオフを明らかにする:ノード特徴のシャープネスの強化により、モデルが過度なスキャッシングに苦しむこと、その逆も可能となる。
さらに、G-MHKGが2つの問題を軽度条件下でどのように処理できるかを示すために、この時間を再度操作する。
実験の結果,提案モデルの有効性が浮き彫りになった。
ホモフィリーとヘテロフィリーの両方を特徴とするグラフデータセットのパフォーマンスにおいて、いくつかのGNNベースラインモデルを上回る。
関連論文リスト
- Dual-Frequency Filtering Self-aware Graph Neural Networks for Homophilic and Heterophilic Graphs [60.82508765185161]
我々は、Dual-Frequency Filtering Self-Aware Graph Neural Networks (DFGNN)を提案する。
DFGNNは低域通過フィルタと高域通過フィルタを統合し、滑らかで詳細な位相的特徴を抽出する。
フィルター比を動的に調整し、ホモフィルグラフとヘテロフィルグラフの両方に対応する。
論文 参考訳（メタデータ） (2024-11-18T04:57:05Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Design Your Own Universe: A Physics-Informed Agnostic Method for Enhancing Graph Neural Networks [34.16727363891593]
グラフニューラルネットワーク(GNN)のためのモデルに依存しない拡張フレームワークを提案する。
このフレームワークは、追加ノードを導入し、負の重み付けと負の重み付けの両方で接続を切り替えることでグラフ構造を豊かにする。
提案手法によって強化されたGNNが,過度にスムースな問題を効果的に回避し,過度なスキャッシングに対する堅牢性を示すことを理論的に検証する。
好中球グラフ,ヘテロ親和性グラフ,長期グラフデータセットのベンチマークにおける実証的検証により,本手法により強化されたGNNが元のグラフよりも有意に優れていることが示された。
論文 参考訳（メタデータ） (2024-01-26T00:47:43Z) - GPatcher: A Simple and Adaptive MLP Model for Alleviating Graph
Heterophily [15.93465948768545]
グラフニューラルネットワーク(GNN)フィルタにおけるグラフヘテロフィリーの影響を解明する。
我々は,パッチ・ミクサーアーキテクチャを利用したGPatcherというシンプルで強力なGNNを提案する。
本モデルでは, ノード分類において, 人気ホモフィリーGNNや最先端ヘテロフィリーGNNと比較して, 優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-25T20:57:35Z) - What functions can Graph Neural Networks compute on random graphs? The
role of Positional Encoding [0.0]
我々は,グラフニューラルネットワーク(GNN)の大規模グラフに対する理論的理解を深めることを目指しており,その表現力に着目している。
近年、GNNは、非常に一般的なランダムグラフモデルにおいて、ノード数が増加するにつれて、特定の関数に収束することを示した。
論文 参考訳（メタデータ） (2023-05-24T07:09:53Z) - A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
非漸近解析により,この現象の背後にあるメカニズムを特徴づける。
混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。
以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
論文 参考訳（メタデータ） (2022-12-21T00:33:59Z) - EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural
Networks [51.42338058718487]
グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。
GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。
偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
論文 参考訳（メタデータ） (2022-05-27T10:48:14Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文 参考訳（メタデータ） (2021-04-26T19:31:21Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。