論文の概要: DRew: Dynamically Rewired Message Passing with Delay

• arxiv url: http://arxiv.org/abs/2305.08018v1
• Date: Sat, 13 May 2023 22:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 18:13:32.077968
• Title: DRew: Dynamically Rewired Message Passing with Delay
• Title（参考訳）: DRew:遅延で動的にリワイヤされたメッセージパッシング
• Authors: Benjamin Gutteridge, Xiaowen Dong, Michael Bronstein, Francesco Di Giovanni
• Abstract要約: グラフの段階的な密度化を保証するために,レイヤ依存のリウィリングを行うフレームワークを提案する。 また,各層と相互距離に依存するノード間の接続をスキップする遅延機構を提案する。 いくつかの長距離タスクに対するアプローチを検証するとともに,グラフトランスフォーマーやマルチホップMPNNよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.474662887810221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message passing neural networks (MPNNs) have been shown to suffer from the phenomenon of over-squashing that causes poor performance for tasks relying on long-range interactions. This can be largely attributed to message passing only occurring locally, over a node's immediate neighbours. Rewiring approaches attempting to make graphs `more connected', and supposedly better suited to long-range tasks, often lose the inductive bias provided by distance on the graph since they make distant nodes communicate instantly at every layer. In this paper we propose a framework, applicable to any MPNN architecture, that performs a layer-dependent rewiring to ensure gradual densification of the graph. We also propose a delay mechanism that permits skip connections between nodes depending on the layer and their mutual distance. We validate our approach on several long-range tasks and show that it outperforms graph Transformers and multi-hop MPNNs.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(mpnn)は、長距離インタラクションに依存するタスクのパフォーマンス低下を引き起こす過剰スワッシング現象に苦しむことが示されている。 これは主に、ノードの直近の近傍でローカルにのみ発生するメッセージパッシングに起因している。 グラフを'より連結'しようとするアプローチをリライトすることは、長距離タスクに適していると思われるが、遠いノードをすべての層で瞬時に通信させるため、グラフ上の距離によって得られる帰納バイアスを失うことが多い。 本稿では,いずれのmpnnアーキテクチャにも適用可能な,グラフの段階的高密度化を保証するためのレイヤ依存リワイリングを実現するフレームワークを提案する。 また,各層と相互距離に依存するノード間の接続をスキップする遅延機構を提案する。 提案手法を複数の長距離タスクで検証し,グラフトランスフォーマーやマルチホップmpnnよりも優れていることを示す。

関連論文リスト

• Towards Dynamic Message Passing on Graphs [104.06474765596687]
  グラフニューラルネットワーク(GNN)のための新しい動的メッセージパッシング機構を提案する。 グラフノードと学習可能な擬似ノードを、測定可能な空間関係を持つ共通空間に投影する。 ノードが空間内を移動すると、その進化する関係は動的メッセージパッシングプロセスのための柔軟な経路構築を促進する。
  論文  参考訳（メタデータ） (2024-10-31T07:20:40Z)
• Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。 MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。 本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:49Z)
• Recurrent Distance Filtering for Graph Representation Learning [34.761926988427284]
  反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。 これらの課題を解決するための新しいアーキテクチャを提案する。 我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
  論文  参考訳（メタデータ） (2023-12-03T23:36:16Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• DiffWire: Inductive Graph Rewiring via the Lov\'asz Bound [1.0323063834827415]
  グラフニューラルネットワーク(GNN)は、グラフ関連タスクに対処するための競合的な結果を達成することが示されている。 MPNNは、過密、過密、過密に悩まされていると報告されている。 DiffWireは、MPNNでグラフを書き換える新しいフレームワークであり、原則的で、完全に微分可能で、パラメータフリーである。
  論文  参考訳（メタデータ） (2022-06-15T08:22:07Z)
• Discovering the Representation Bottleneck of Graph Neural Networks from Multi-order Interactions [51.597480162777074]
  グラフニューラルネットワーク(GNN)は、ノード機能を伝搬し、インタラクションを構築するためにメッセージパッシングパラダイムに依存している。 最近の研究は、異なるグラフ学習タスクはノード間の異なる範囲の相互作用を必要とすることを指摘している。 科学領域における2つの共通グラフ構築法、すなわち、emphK-nearest neighbor(KNN)グラフとemphfully-connected(FC)グラフについて検討する。
  論文  参考訳（メタデータ） (2022-05-15T11:38:14Z)
• Very Deep Graph Neural Networks Via Noise Regularisation [57.450532911995516]
  グラフニューラルネットワーク(GNN)は、入力グラフを介して学習されたメッセージパッシングを実行する。 最大100のメッセージパッシングステップを持つディープGNNをトレーニングし、いくつかの最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-15T08:50:10Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。