論文の概要: On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology

• arxiv url: http://arxiv.org/abs/2302.02941v3
• Date: Wed, 24 May 2023 11:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 02:13:08.717396
• Title: On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology
• Title（参考訳）: メッセージパッシングニューラルネットワークにおけるオーバーカッシングについて:幅,深さ,トポロジーの影響
• Authors: Francesco Di Giovanni, Lorenzo Giusti, Federico Barbero, Giulia Luise, Pietro Lio', Michael Bronstein
• Abstract要約: メッセージパッシングニューラルネットワーク(MPNN)は、グラフを利用してエッジにメッセージを送信するグラフニューラルネットワークのインスタンスである。 この帰納バイアスは、ノードの特徴が遠いノードに含まれる情報に敏感であるオーバー・スカッシング(over-squashing)と呼ばれる現象につながる。 この問題を軽減するために近年導入された手法にもかかわらず、過度な監視と解決策の可能性についての理解は欠如している。
• 参考スコア（独自算出の注目度）: 4.809459273366461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Message Passing Neural Networks (MPNNs) are instances of Graph Neural Networks that leverage the graph to send messages over the edges. This inductive bias leads to a phenomenon known as over-squashing, where a node feature is insensitive to information contained at distant nodes. Despite recent methods introduced to mitigate this issue, an understanding of the causes for over-squashing and of possible solutions are lacking. In this theoretical work, we prove that: (i) Neural network width can mitigate over-squashing, but at the cost of making the whole network more sensitive; (ii) Conversely, depth cannot help mitigate over-squashing: increasing the number of layers leads to over-squashing being dominated by vanishing gradients; (iii) The graph topology plays the greatest role, since over-squashing occurs between nodes at high commute (access) time. Our analysis provides a unified framework to study different recent methods introduced to cope with over-squashing and serves as a justification for a class of methods that fall under graph rewiring.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は、グラフを利用してエッジにメッセージを送信するグラフニューラルネットワークのインスタンスである。 この帰納バイアスは、ノードの特徴が遠いノードに含まれる情報に敏感であるオーバー・スカッシングと呼ばれる現象を引き起こす。 この問題を軽減するために最近導入された手法にもかかわらず、過剰スワッシングの原因と可能な解決策の理解が不足している。 この理論的研究において、我々は次のように証明する。 (i)ニューラルネットワークの幅はオーバー・スクワッシングを緩和することができるが、ネットワーク全体をより敏感にするコストがかかる。 (ii)逆に、深さは、過剰なスキャッシングを軽減するのに役立ちません。層数の増加は、過剰スキャッシングが消滅する勾配によって支配されることになります。 (iii)高通勤時(アクセス時)にノード間でオーバースワッシングが発生するため、グラフトポロジーが最大の役割を果たす。 我々の分析は、オーバースカッシングに対処するために導入された様々な手法を研究するための統一されたフレームワークを提供し、グラフリウィリングの対象となるメソッドのクラスを正当化するのに役立つ。

関連論文リスト

• Graph Elimination Networks [8.806990624643333]
  グラフニューラルネットワーク(GNN)は、様々な領域に広く適用されているが、深い層では性能が良くない。 深層層におけるGNNの性能劣化の根本原因は,非効率な近傍特徴伝搬にあることを示す。 本稿では,周辺伝播における冗長性を排除するために,特定のアルゴリズムを用いたグラフ除去ネットワーク(gens)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:58:59Z)
• Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
  ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。 最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。 我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
  論文  参考訳（メタデータ） (2023-11-27T15:51:07Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Is Rewiring Actually Helpful in Graph Neural Networks? [11.52174067809364]
  本稿では,ノードやグラフ表現の学習を必要としない,メッセージパッシングモデルに基づく評価設定を提案する。 実世界のノードとグラフ分類タスクの体系的比較を行い、基礎となるグラフを書き換えることが、メッセージパッシングの実用的な利点をもたらすことは滅多にないことを示した。
  論文  参考訳（メタデータ） (2023-05-31T10:12:23Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Understanding over-squashing and bottlenecks on graphs via curvature [17.359098638324546]
  オーバースカッシング(Over-squashing)は、$k$ホップの隣人の数が、$k$で急速に増加する現象である。 我々は新しいエッジベースの曲率を導入し、負の湾曲したエッジがオーバースカッシングの原因であることを証明した。 また,オーバーカッシングを緩和するための曲率に基づく再配線法を提案し,実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T13:27:56Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。