論文の概要: Are Graph Transformers Necessary? Efficient Long-Range Message Passing with Fractal Nodes in MPNNs
- arxiv url: http://arxiv.org/abs/2511.13010v1
- Date: Mon, 17 Nov 2025 06:11:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:24.706247
- Title: Are Graph Transformers Necessary? Efficient Long-Range Message Passing with Fractal Nodes in MPNNs
- Title(参考訳): グラフトランスフォーマーは必要か?MPNNにおけるフラクタルノードを用いた効率的なロングレンジメッセージパッシング
- Authors: Jeongwhan Choi, Seungjun Park, Sumin Park, Sung-Bae Cho, Noseong Park,
- Abstract要約: 実世界のネットワークで観測されるフラクタル構造から着想を得たフラクタルノードという新しい概念を提案する。
フラクタルノードは、直接のショートカット接続を提供することにより、オーバースカッシング問題を緩和することを示す。
実験の結果,MPNNの表現能力は向上し,グラフ変換器の性能も向上した。
- 参考スコア(独自算出の注目度): 34.8056394030225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have emerged as powerful tools for learning on graph-structured data, but often struggle to balance local and global information. While graph Transformers aim to address this by enabling long-range interactions, they often overlook the inherent locality and efficiency of Message Passing Neural Networks (MPNNs). We propose a new concept called fractal nodes, inspired by the fractal structure observed in real-world networks. Our approach is based on the intuition that graph partitioning naturally induces fractal structure, where subgraphs often reflect the connectivity patterns of the full graph. Fractal nodes are designed to coexist with the original nodes and adaptively aggregate subgraph-level feature representations, thereby enforcing feature similarity within each subgraph. We show that fractal nodes alleviate the over-squashing problem by providing direct shortcut connections that enable long-range propagation of subgraph-level representations. Experiment results show that our method improves the expressive power of MPNNs and achieves comparable or better performance to graph Transformers while maintaining the computational efficiency of MPNN by improving the long-range dependencies of MPNN.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフ構造化データを学ぶための強力なツールとして登場したが、多くの場合、ローカルとグローバル情報のバランスをとるのに苦労している。
グラフトランスフォーマーは、長距離通信を可能にすることでこの問題に対処しようとしているが、メッセージパッシングニューラルネットワーク(MPNN)の固有の局所性と効率性を見落としていることが多い。
実世界のネットワークで観測されるフラクタル構造から着想を得たフラクタルノードという新しい概念を提案する。
我々のアプローチはグラフ分割がフラクタル構造を自然に引き起こすという直感に基づいている。
フラクタルノードは、元のノードと共存し、サブグラフレベルの特徴表現を適応的に集約するように設計されている。
フラクタルノードは,部分グラフレベルの表現の長距離伝播を可能にする直接的ショートカット接続を提供することにより,オーバースカッシング問題を緩和することを示す。
実験結果から,MPNNの長期依存性を改善することにより,MPNNの計算効率を向上しつつ,MPNNの表現能力を向上させるとともに,グラフトランスフォーマに匹敵する,あるいは優れた性能を実現することができることがわかった。
関連論文リスト
- Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。
MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。
本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
論文 参考訳(メタデータ) (2024-05-27T16:11:49Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳(メタデータ) (2023-10-05T02:58:29Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Boosting Graph Neural Networks by Injecting Pooling in Message Passing [4.952681349410351]
オーバースムーシングを防止するために,新しい,適応可能な,強力なMPフレームワークを提案する。
我々の両側MPは、ノードのクラス情報を利用して、ペアワイズなモジュラー勾配を推定する。
5つの中規模ベンチマークデータセットの実験から、二値MPは過度なスムーシングを緩和することで性能を向上させることが示されている。
論文 参考訳(メタデータ) (2022-02-08T08:21:20Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。
我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
論文 参考訳(メタデータ) (2020-10-06T01:20:27Z) - Scattering GCN: Overcoming Oversmoothness in Graph Convolutional
Networks [0.0]
グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。
本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。
前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
論文 参考訳(メタデータ) (2020-03-18T18:03:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。