論文の概要: On the Bottleneck of Graph Neural Networks and its Practical Implications

• arxiv url: http://arxiv.org/abs/2006.05205v4
• Date: Tue, 9 Mar 2021 11:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:51:44.947110
• Title: On the Bottleneck of Graph Neural Networks and its Practical Implications
• Title（参考訳）: グラフニューラルネットワークの基盤とその実践的意味について
• Authors: Uri Alon, Eran Yahav
• Abstract要約: グラフニューラルネットワーク(GNN)は,長い経路でメッセージを集約する場合,ボトルネックの影響を受けやすいことを示す。 このボトルネックは指数関数的に増加する情報を固定サイズのベクトルに過度に振る舞う。 GNNは、遠く離れたノードからのメッセージの伝搬に失敗し、予測タスクが長距離通信に依存する場合、性能が低下する。
• 参考スコア（独自算出の注目度）: 22.704284264177108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the proposal of the graph neural network (GNN) by Gori et al. (2005) and Scarselli et al. (2008), one of the major problems in training GNNs was their struggle to propagate information between distant nodes in the graph. We propose a new explanation for this problem: GNNs are susceptible to a bottleneck when aggregating messages across a long path. This bottleneck causes the over-squashing of exponentially growing information into fixed-size vectors. As a result, GNNs fail to propagate messages originating from distant nodes and perform poorly when the prediction task depends on long-range interaction. In this paper, we highlight the inherent problem of over-squashing in GNNs: we demonstrate that the bottleneck hinders popular GNNs from fitting long-range signals in the training data; we further show that GNNs that absorb incoming edges equally, such as GCN and GIN, are more susceptible to over-squashing than GAT and GGNN; finally, we show that prior work, which extensively tuned GNN models of long-range problems, suffers from over-squashing, and that breaking the bottleneck improves their state-of-the-art results without any tuning or additional weights. Our code is available at https://github.com/tech-srl/bottleneck/ .
• Abstract（参考訳）: Gori et al. (2005) と Scarselli et al. (2008) によるグラフニューラルネットワーク (GNN) の提案以来、GNNのトレーニングにおける大きな問題の1つは、グラフ内の遠いノード間での情報伝達に苦労したことである。 我々は、gnnが長いパスでメッセージを集約する際にボトルネックになりやすいという、この問題に対する新しい説明を提案している。 このボトルネックは指数関数的に増加する情報を固定サイズのベクトルに過度に振る舞う。 その結果、GNNは遠く離れたノードから発せられるメッセージの伝播に失敗し、予測タスクが長距離通信に依存する場合、性能が低下する。 In this paper, we highlight the inherent problem of over-squashing in GNNs: we demonstrate that the bottleneck hinders popular GNNs from fitting long-range signals in the training data; we further show that GNNs that absorb incoming edges equally, such as GCN and GIN, are more susceptible to over-squashing than GAT and GGNN; finally, we show that prior work, which extensively tuned GNN models of long-range problems, suffers from over-squashing, and that breaking the bottleneck improves their state-of-the-art results without any tuning or additional weights. 私たちのコードはhttps://github.com/tech-srl/bottleneck/で入手できる。

関連論文リスト

• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
  グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。 LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。 総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-02-03T02:33:07Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Two-level Graph Neural Network [15.014364222532347]
  2レベルGNN(TL-GNN)と呼ばれる新しいGNNフレームワークを提案する。 これは、サブグラフレベル情報とノードレベル情報とをマージする。 実験により、TL-GNNは既存のGNNよりも優れ、最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2022-01-03T02:15:20Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• AutoGraph: Automated Graph Neural Network [45.94642721490744]
  本稿では,ディープグラフニューラルネットワーク(GNN)の設計を自動化する手法を提案する。 提案手法では,機能再利用を促進するために,新しいタイプのスキップ接続をGNNs検索空間に追加する。 また、進化的アルゴリズムにより、進化中のGNNの層を増大させ、より深いネットワークを生成することができる。
  論文  参考訳（メタデータ） (2020-11-23T09:04:17Z)
• Gated Graph Recurrent Neural Networks [176.3960927323358]
  グラフ処理の一般的な学習フレームワークとしてグラフリカレントニューラルネットワーク(GRNN)を導入する。 勾配の消失問題に対処するため,時間,ノード,エッジゲートの3つの異なるゲーティング機構でGRNNを前進させた。 数値的な結果は、GRNNがGNNやRNNよりも優れており、グラフプロセスの時間構造とグラフ構造の両方を考慮することが重要であることを示している。
  論文  参考訳（メタデータ） (2020-02-03T22:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。