論文の概要: GEN: A Practical Alternative to Graph Transformers for Long-Range Graph Modeling
- arxiv url: http://arxiv.org/abs/2401.01233v2
- Date: Mon, 01 Sep 2025 10:02:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-03 20:08:26.090185
- Title: GEN: A Practical Alternative to Graph Transformers for Long-Range Graph Modeling
- Title（参考訳）: GEN:ロングレンジグラフモデリングのためのグラフトランスフォーマーの実用的な代替手段
- Authors: Shuo Wang, Ge Cheng, Yun Zhang,
- Abstract要約: グラフ除去ネットワーク(英: Graph Elimination Networks, GEN)は、高効率を維持しながらGTのような長距離モデリングを近似するMPNNの変種である。
遺伝子は、エッジワイドとホップワイドの自己アテンションを平行に結合し、その乗法的組成は、境界Kホップ受容領域内のエッジとホップ因子間で分離可能なアテンションカーネルを生成する。
- 参考スコア（独自算出の注目度）: 6.102178220894629
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Message Passing Neural Networks (MPNNs) model local relations effectively but struggle to propagate information over long distances. Graph Transformers (GTs) mitigate this via global self-attention, yet their quadratic cost in the number of nodes limits scalability. We propose Graph Elimination Networks (GENs), an MPNN variant that approximates GT-like long-range modeling while maintaining high efficiency. GENs combine edge-wise and hop-wise self-attention in parallel; their multiplicative composition yields an attention kernel separable across edge and hop factors within a bounded K-hop receptive field. To enable hop-wise attention, we introduce the Graph Elimination Algorithm (GEA), which prevents double counting across hops, ensuring that each round injects the k-hop incremental contribution exactly once. Taking differences between successive rounds recovers the k-hop increment and yields disentangled multi-hop features as inputs for hop-wise attention. This preserves clearer structural distinctions across hop distances and enables more faithful modeling of pairwise dependencies between distant nodes within the K-hop neighborhood. On the Long-Range Graph Benchmark (LRGB), GENs outperform strong MPNN baselines by 7.7 and 6.0 percentage points (pp) on PascalVOC-SP and COCO-SP, and achieve performance on par with or better than state-of-the-art Graph Transformers. On OGBN-Products, GENs support full-batch training/inference, while sparse-attention baselines like Exphormer struggle with memory limits under comparable budgets, highlighting GENs as a practical alternative for large, sparse graphs.
- Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は、局所的な関係を効果的にモデル化するが、遠距離で情報を広めるのに苦労する。
グラフトランスフォーマー(GT)は、グローバルな自己アテンションを通じてこれを緩和するが、ノード数における2次コストはスケーラビリティを制限している。
我々は,高効率を維持しつつ,GTライクな長距離モデリングを近似したMPNN変種であるGraph Elimination Networks (GENs)を提案する。
遺伝子は、エッジワイドとホップワイドの自己アテンションを平行に結合し、その乗法的組成は、境界Kホップ受容領域内のエッジとホップ因子間で分離可能なアテンションカーネルを生成する。
ホップの注意を喚起するために,グラフ除去アルゴリズム(GEA)を導入し,各ラウンドがkホップのインクリメンタルコントリビューションを正確に1回注入することを保証した。
連続するラウンド間の差を取れば、kホップのインクリメントが回復し、ホップの注意のための入力として多ホップの非絡み合う特徴が得られる。
これにより、ホップ距離におけるより明確な構造的区別が保たれ、Kホップ近傍の遠いノード間のペア依存のより忠実なモデリングが可能になる。
Long-Range Graph Benchmark (LRGB)では、ジェネレーションはPascalVOC-SPとCOCO-SPで7.7と6.0ポイント(pp)の強いMPNNベースラインを上回り、最先端のGraph Transformersと同等以上のパフォーマンスを実現している。
OGBN-Productsでは、genはフルバッチのトレーニング/推論をサポートし、Exphormerのようなスパースアテンションベースラインは、同等の予算下でメモリ制限と戦っている。
関連論文リスト
- Robust Node Representation Learning via Graph Variational Diffusion
Networks [7.335425547621226]
近年,グラフ構造における摂動により,GNNに基づくノード表現学習が著しく劣化する可能性が示唆されている。
摂動の存在下で頑健なノード表現を学習するために、GNNを保護するための様々な研究が提案されている。
本稿では,ガウス雑音を効果的に制御し,摂動グラフ上のロバスト性を保護する新しいノードエンコーダであるグラフ変分拡散ネットワーク(GVDN)を提案する。
論文 参考訳（メタデータ） (2023-12-18T03:18:53Z) - Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。
最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。
我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
論文 参考訳（メタデータ） (2023-11-27T15:51:07Z) - Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。
本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
論文 参考訳（メタデータ） (2023-07-22T04:52:27Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。
そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
論文 参考訳（メタデータ） (2021-11-19T08:54:21Z) - Tree Decomposed Graph Neural Network [11.524511007436791]
本研究では,異なる階層の近傍を乱して特徴の平滑化を緩和する木分解法を提案する。
また、木分解定式化におけるグラフ拡散によるマルチホップ依存性を特徴付け、木分解グラフニューラルネットワーク(TDGNN)を構築する。
総合的な実験は、ホモフィリーネットワークとヘテロフィリーネットワークの両方において、TDGNNの優れた性能を示す。
論文 参考訳（メタデータ） (2021-08-25T02:47:16Z) - Enhance Information Propagation for Graph Neural Network by
Heterogeneous Aggregations [7.3136594018091134]
グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。
ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。
我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
論文 参考訳（メタデータ） (2021-02-08T08:57:56Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-09T16:26:43Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳（メタデータ） (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。