論文の概要: On the Trade-off between Over-smoothing and Over-squashing in Deep Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2212.02374v2
• Date: Fri, 11 Aug 2023 13:51:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 17:41:57.612258
• Title: On the Trade-off between Over-smoothing and Over-squashing in Deep Graph Neural Networks
• Title（参考訳）: ディープグラフニューラルネットワークにおけるオーバースムーシングとオーバースキャッシングのトレードオフについて
• Authors: Jhony H. Giraldo, Konstantinos Skianis, Thierry Bouwmans, Fragkiskos D. Malliaros
• Abstract要約: グラフ畳み込み層を積み重ねる場合、オーバースムーシングとオーバースキャッシングが重要な課題である。 我々の研究は、過剰な平滑化と過剰な赤道化がグラフラプラシアンのスペクトルギャップに本質的に関係していることを明らかにする。 適切な妥協を実現するために,エッジの追加と削除を実行可能なアプローチとして提案する。
• 参考スコア（独自算出の注目度）: 8.105516788827451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have succeeded in various computer science applications, yet deep GNNs underperform their shallow counterparts despite deep learning's success in other domains. Over-smoothing and over-squashing are key challenges when stacking graph convolutional layers, hindering deep representation learning and information propagation from distant nodes. Our work reveals that over-smoothing and over-squashing are intrinsically related to the spectral gap of the graph Laplacian, resulting in an inevitable trade-off between these two issues, as they cannot be alleviated simultaneously. To achieve a suitable compromise, we propose adding and removing edges as a viable approach. We introduce the Stochastic Jost and Liu Curvature Rewiring (SJLR) algorithm, which is computationally efficient and preserves fundamental properties compared to previous curvature-based methods. Unlike existing approaches, SJLR performs edge addition and removal during GNN training while maintaining the graph unchanged during testing. Comprehensive comparisons demonstrate SJLR's competitive performance in addressing over-smoothing and over-squashing.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は様々なコンピュータ科学の応用に成功しているが、ディープラーニングが他の領域で成功したにもかかわらず、深いGNNは浅い分野よりも優れていた。 グラフ畳み込み層を積み重ねることで、深層表現学習や遠方ノードからの情報伝達を妨げる、オーバースムーシングとオーバースキャッシングが鍵となる課題である。 我々の研究は、過密化と過密化がグラフラプラシアンのスペクトルギャップと本質的に関係していることを明らかにし、同時に緩和できないため、これらの2つの問題の間に必然的なトレードオフをもたらす。 適切な妥協を実現するために,エッジの追加と削除を実行可能なアプローチとして提案する。 本稿では,従来の曲率に基づく手法と比較して,計算効率が高く基本特性を保った確率的jostおよびliu曲率リワイリング(sjlr)アルゴリズムを提案する。 既存のアプローチとは異なり、SJLRはGNNトレーニング中にエッジの追加と削除を行い、テスト中にグラフを変更せずに維持する。 総合的な比較では、SJLRのオーバースムーシングとオーバースキャッシングの競合性能を示している。

関連論文リスト

• Faster Inference Time for GNNs using coarsening [1.323700980948722]
  粗い手法はグラフを小さくするために使われ、計算が高速化される。 これまでの調査では、推論中にコストに対処できなかった。 本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-19T06:27:24Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• Robust Graph Neural Network based on Graph Denoising [10.564653734218755]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータセットを扱う学習問題に対して、悪名高い代替手段として登場した。 本研究は,観測トポロジにおける摂動の存在を明示的に考慮した,GNNの堅牢な実装を提案する。
  論文  参考訳（メタデータ） (2023-12-11T17:43:57Z)
• Layer-wise training for self-supervised learning on graphs [0.0]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。 本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:23:39Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• Graph Neural Network with Curriculum Learning for Imbalanced Node Classification [21.085314408929058]
  グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。 本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。 本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-05T10:46:11Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。