論文の概要: DRew: Dynamically Rewired Message Passing with Delay

• arxiv url: http://arxiv.org/abs/2305.08018v1
• Date: Sat, 13 May 2023 22:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 18:13:32.077968
• Title: DRew: Dynamically Rewired Message Passing with Delay
• Title（参考訳）: DRew:遅延で動的にリワイヤされたメッセージパッシング
• Authors: Benjamin Gutteridge, Xiaowen Dong, Michael Bronstein, Francesco Di Giovanni
• Abstract要約: グラフの段階的な密度化を保証するために,レイヤ依存のリウィリングを行うフレームワークを提案する。 また,各層と相互距離に依存するノード間の接続をスキップする遅延機構を提案する。 いくつかの長距離タスクに対するアプローチを検証するとともに,グラフトランスフォーマーやマルチホップMPNNよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.474662887810221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing neural networks (MPNNs) have been shown to suffer from the phenomenon of over-squashing that causes poor performance for tasks relying on long-range interactions. This can be largely attributed to message passing only occurring locally, over a node's immediate neighbours. Rewiring approaches attempting to make graphs `more connected', and supposedly better suited to long-range tasks, often lose the inductive bias provided by distance on the graph since they make distant nodes communicate instantly at every layer. In this paper we propose a framework, applicable to any MPNN architecture, that performs a layer-dependent rewiring to ensure gradual densification of the graph. We also propose a delay mechanism that permits skip connections between nodes depending on the layer and their mutual distance. We validate our approach on several long-range tasks and show that it outperforms graph Transformers and multi-hop MPNNs.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(mpnn)は、長距離インタラクションに依存するタスクのパフォーマンス低下を引き起こす過剰スワッシング現象に苦しむことが示されている。 これは主に、ノードの直近の近傍でローカルにのみ発生するメッセージパッシングに起因している。 グラフを'より連結'しようとするアプローチをリライトすることは、長距離タスクに適していると思われるが、遠いノードをすべての層で瞬時に通信させるため、グラフ上の距離によって得られる帰納バイアスを失うことが多い。 本稿では,いずれのmpnnアーキテクチャにも適用可能な,グラフの段階的高密度化を保証するためのレイヤ依存リワイリングを実現するフレームワークを提案する。 また,各層と相互距離に依存するノード間の接続をスキップする遅延機構を提案する。 提案手法を複数の長距離タスクで検証し,グラフトランスフォーマーやマルチホップmpnnよりも優れていることを示す。

関連論文リスト

• Graph Spring Neural ODEs for Link Sign Prediction [49.71046810937725]
  本稿では,春の力によってモデル化されたグラフスプリングネットワーク(GSN)と呼ばれる新しいメッセージパッシング層アーキテクチャを提案する。 提案手法は,大規模グラフ上で最大28,000のノード生成時間高速化係数を持つ最先端手法に近い精度を実現する。
  論文  参考訳（メタデータ） (2024-12-17T13:50:20Z)
• Towards Dynamic Message Passing on Graphs [104.06474765596687]
  グラフニューラルネットワーク(GNN)のための新しい動的メッセージパッシング機構を提案する。 グラフノードと学習可能な擬似ノードを、測定可能な空間関係を持つ共通空間に投影する。 ノードが空間内を移動すると、その進化する関係は動的メッセージパッシングプロセスのための柔軟な経路構築を促進する。
  論文  参考訳（メタデータ） (2024-10-31T07:20:40Z)
• Preventing Representational Rank Collapse in MPNNs by Splitting the Computational Graph [9.498398257062641]
  複数の有向非巡回グラフ上での操作が常に我々の条件を満たすことを示し、ノードの厳密な部分順序付けを定義することによってそれらを得る提案をする。 我々は、より情報的なノード表現を実現するために、マルチリレーショナルグラフ上での操作の利点を確認する包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:16:03Z)
• Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。 MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。 本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:49Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• DiffWire: Inductive Graph Rewiring via the Lov\'asz Bound [1.0323063834827415]
  グラフニューラルネットワーク(GNN)は、グラフ関連タスクに対処するための競合的な結果を達成することが示されている。 MPNNは、過密、過密、過密に悩まされていると報告されている。 DiffWireは、MPNNでグラフを書き換える新しいフレームワークであり、原則的で、完全に微分可能で、パラメータフリーである。
  論文  参考訳（メタデータ） (2022-06-15T08:22:07Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。