論文の概要: Short-Range Oversquashing

• arxiv url: http://arxiv.org/abs/2511.20406v1
• Date: Tue, 25 Nov 2025 15:34:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.526901
• Title: Short-Range Oversquashing
• Title（参考訳）: short‐Range oversquashing
• Authors: Yaaqov Mishayev, Yonatan Sverdlov, Tal Amir, Nadav Dym,
• Abstract要約: オーバーシャッシングは長距離タスクに限らず、短距離問題でも起こりうることを示す。 対照的に、トランスフォーマーはそのようなタスクに成功し、特殊なMPNNに比べてオーバーシャッシングのソリューションとして、より説得力のあるものとして位置づけている。
• 参考スコア（独自算出の注目度）: 19.222065949766748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message Passing Neural Networks (MPNNs) are widely used for learning on graphs, but their ability to process long-range information is limited by the phenomenon of oversquashing. This limitation has led some researchers to advocate Graph Transformers as a better alternative, whereas others suggest that it can be mitigated within the MPNN framework, using virtual nodes or other rewiring techniques. In this work, we demonstrate that oversquashing is not limited to long-range tasks, but can also arise in short-range problems. This observation allows us to disentangle two distinct mechanisms underlying oversquashing: (1) the bottleneck phenomenon, which can arise even in low-range settings, and (2) the vanishing gradient phenomenon, which is closely associated with long-range tasks. We further show that the short-range bottleneck effect is not captured by existing explanations for oversquashing, and that adding virtual nodes does not resolve it. In contrast, transformers do succeed in such tasks, positioning them as the more compelling solution to oversquashing, compared to specialized MPNNs.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)はグラフの学習に広く利用されているが、その長距離情報処理能力はオーバーシャッシング現象によって制限されている。 この制限により、一部の研究者はグラフトランスフォーマーをより良い代替手段として推奨したが、他の研究者は、仮想ノードや他のスイッチング技術を使用して、MPNNフレームワーク内で緩和可能であることを示唆している。 本研究は,過疎化は長距離タスクに限らず,短距離問題に起因する可能性があることを示す。 本研究は,(1)低域設定でも発生するボトルネック現象,(2)長距離タスクと密接に関連している消失勾配現象の2つのメカニズムを解明する。 さらに、オーバーシャッシングに関する既存の説明では、ショートレンジのボトルネック効果は捉えられず、仮想ノードの追加はそれを解決しないことを示す。 対照的に、トランスフォーマーはそのようなタスクに成功し、特殊なMPNNに比べてオーバーシャッシングのソリューションとして、より説得力のあるものとして位置づけている。

関連論文リスト

• Effects of Dropout on Performance in Long-range Graph Learning Tasks [8.524684315458243]
  MPNNはグラフニューラルネットワーク(Graph Neural Networks)で、ローカルな地区を通じてグラフ全体に情報を伝達する。 オーバースムーシングとオーバースキャッシングは、MPNNにとって2つの重要な課題である。 我々は、エッジドロップによって失われた情報の比率を明示的に制御するDropEdgeの感度対応版であるDropSensを紹介する。
  論文  参考訳（メタデータ） (2025-02-11T08:36:38Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• Sign is Not a Remedy: Multiset-to-Multiset Message Passing for Learning on Heterophilic Graphs [77.42221150848535]
  我々は、Multiset to Multiset GNN(M2M-GNN)と呼ばれる新しいメッセージパッシング機能を提案する。 M2M-GNNは上述のSMPの限界を効果的に緩和し, 比較性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-05-31T07:39:22Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。 MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。 本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:49Z)
• DRew: Dynamically Rewired Message Passing with Delay [7.474662887810221]
  グラフの段階的な密度化を保証するために,レイヤ依存のリウィリングを行うフレームワークを提案する。 また,各層と相互距離に依存するノード間の接続をスキップする遅延機構を提案する。 いくつかの長距離タスクに対するアプローチを検証するとともに,グラフトランスフォーマーやマルチホップMPNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-13T22:47:40Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。