論文の概要: GEN: A Practical Alternative to Graph Transformers for Long-Range Graph Modeling

• arxiv url: http://arxiv.org/abs/2401.01233v2
• Date: Mon, 01 Sep 2025 10:02:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 20:08:26.090185
• Title: GEN: A Practical Alternative to Graph Transformers for Long-Range Graph Modeling
• Title（参考訳）: GEN:ロングレンジグラフモデリングのためのグラフトランスフォーマーの実用的な代替手段
• Authors: Shuo Wang, Ge Cheng, Yun Zhang,
• Abstract要約: グラフ除去ネットワーク(英: Graph Elimination Networks, GEN)は、高効率を維持しながらGTのような長距離モデリングを近似するMPNNの変種である。 遺伝子は、エッジワイドとホップワイドの自己アテンションを平行に結合し、その乗法的組成は、境界Kホップ受容領域内のエッジとホップ因子間で分離可能なアテンションカーネルを生成する。
• 参考スコア（独自算出の注目度）: 6.102178220894629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Message Passing Neural Networks (MPNNs) model local relations effectively but struggle to propagate information over long distances. Graph Transformers (GTs) mitigate this via global self-attention, yet their quadratic cost in the number of nodes limits scalability. We propose Graph Elimination Networks (GENs), an MPNN variant that approximates GT-like long-range modeling while maintaining high efficiency. GENs combine edge-wise and hop-wise self-attention in parallel; their multiplicative composition yields an attention kernel separable across edge and hop factors within a bounded K-hop receptive field. To enable hop-wise attention, we introduce the Graph Elimination Algorithm (GEA), which prevents double counting across hops, ensuring that each round injects the k-hop incremental contribution exactly once. Taking differences between successive rounds recovers the k-hop increment and yields disentangled multi-hop features as inputs for hop-wise attention. This preserves clearer structural distinctions across hop distances and enables more faithful modeling of pairwise dependencies between distant nodes within the K-hop neighborhood. On the Long-Range Graph Benchmark (LRGB), GENs outperform strong MPNN baselines by 7.7 and 6.0 percentage points (pp) on PascalVOC-SP and COCO-SP, and achieve performance on par with or better than state-of-the-art Graph Transformers. On OGBN-Products, GENs support full-batch training/inference, while sparse-attention baselines like Exphormer struggle with memory limits under comparable budgets, highlighting GENs as a practical alternative for large, sparse graphs.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は、局所的な関係を効果的にモデル化するが、遠距離で情報を広めるのに苦労する。 グラフトランスフォーマー(GT)は、グローバルな自己アテンションを通じてこれを緩和するが、ノード数における2次コストはスケーラビリティを制限している。 我々は,高効率を維持しつつ,GTライクな長距離モデリングを近似したMPNN変種であるGraph Elimination Networks (GENs)を提案する。 遺伝子は、エッジワイドとホップワイドの自己アテンションを平行に結合し、その乗法的組成は、境界Kホップ受容領域内のエッジとホップ因子間で分離可能なアテンションカーネルを生成する。 ホップの注意を喚起するために,グラフ除去アルゴリズム(GEA)を導入し,各ラウンドがkホップのインクリメンタルコントリビューションを正確に1回注入することを保証した。 連続するラウンド間の差を取れば、kホップのインクリメントが回復し、ホップの注意のための入力として多ホップの非絡み合う特徴が得られる。 これにより、ホップ距離におけるより明確な構造的区別が保たれ、Kホップ近傍の遠いノード間のペア依存のより忠実なモデリングが可能になる。 Long-Range Graph Benchmark (LRGB)では、ジェネレーションはPascalVOC-SPとCOCO-SPで7.7と6.0ポイント(pp)の強いMPNNベースラインを上回り、最先端のGraph Transformersと同等以上のパフォーマンスを実現している。 OGBN-Productsでは、genはフルバッチのトレーニング/推論をサポートし、Exphormerのようなスパースアテンションベースラインは、同等の予算下でメモリ制限と戦っている。

関連論文リスト

• ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion [73.85920403511706]
  スケーラブルで効果的なグラフ学習のためのマルチホップノード機能を適応的に融合する新しいフレームワークであるScaleGNNを提案する。 予測精度と計算効率の両面で,ScaleGNNは最先端のGNNよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-22T14:05:11Z)
• HoGA: Higher-Order Graph Attention via Diversity-Aware k-Hop Sampling [8.586564611972271]
  我々は,特徴ベクトル間の多様性を最大化するために,部分グラフをサンプリングしてk次注目行列を構成する高次グラフ注意(HoGA)モジュールを紹介する。 HoGAは、すべてのベンチマークノード分類データセットで少なくとも5%の精度向上を実現し、8つのデータセットのうち6つで最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-11-18T20:46:02Z)
• A Scalable and Effective Alternative to Graph Transformers [19.018320937729264]
  グラフ変換器(GT)が導入された。 GTは、グラフ内のノード数の複雑さに悩まされ、大きなグラフに適用できなくなる。 GTに代わるスケーラブルで効果的なグラフ拡張コンテキスト演算子(GECO)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T19:57:34Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Robust Node Representation Learning via Graph Variational Diffusion Networks [7.335425547621226]
  近年,グラフ構造における摂動により,GNNに基づくノード表現学習が著しく劣化する可能性が示唆されている。 摂動の存在下で頑健なノード表現を学習するために、GNNを保護するための様々な研究が提案されている。 本稿では,ガウス雑音を効果的に制御し,摂動グラフ上のロバスト性を保護する新しいノードエンコーダであるグラフ変分拡散ネットワーク(GVDN)を提案する。
  論文  参考訳（メタデータ） (2023-12-18T03:18:53Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Recurrent Distance Filtering for Graph Representation Learning [34.761926988427284]
  反復的なワンホップメッセージパッシングに基づくグラフニューラルネットワークは、遠方のノードからの情報を効果的に活用するのに苦労していることが示されている。 これらの課題を解決するための新しいアーキテクチャを提案する。 我々のモデルは、ターゲットへの最短距離で他のノードを集約し、線形RNNを用いてホップ表現のシーケンスを符号化する。
  論文  参考訳（メタデータ） (2023-12-03T23:36:16Z)
• Over-Squashing in Riemannian Graph Neural Networks [1.6317061277457001]
  ほとんどのグラフニューラルネットワーク(GNN)は、オーバースカッシング(over-squashing)という現象を起こしやすい。 最近の研究では、グラフのトポロジがオーバー・スカッシングに最も大きな影響を与えることが示されている。 我々は, GNN の埋め込み空間を通じて, オーバースカッシングを緩和できるかどうかを考察する。
  論文  参考訳（メタデータ） (2023-11-27T15:51:07Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
  グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。 本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
  論文  参考訳（メタデータ） (2023-07-22T04:52:27Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs [11.868008619702277]
  本稿では,各ノードを一連のトークンを含むシーケンスとして扱う近傍集約グラフ変換器(NAGphormer)を提案する。 Hop2Tokenは、異なるホップから異なる表現に近隣の特徴を集約し、トークンベクトルのシーケンスを1つの入力として生成する。 さらに,Hop2Tokenの出力に基づいてNrAug(Neighborhood Augmentation)と呼ばれる新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:29:42Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• Tree Decomposed Graph Neural Network [11.524511007436791]
  本研究では,異なる階層の近傍を乱して特徴の平滑化を緩和する木分解法を提案する。 また、木分解定式化におけるグラフ拡散によるマルチホップ依存性を特徴付け、木分解グラフニューラルネットワーク(TDGNN)を構築する。 総合的な実験は、ホモフィリーネットワークとヘテロフィリーネットワークの両方において、TDGNNの優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-25T02:47:16Z)
• Multi-hop Graph Convolutional Network with High-order Chebyshev Approximation for Text Reasoning [15.65069702939315]
  我々は高次動的チェビシェフ近似(HDGCN)を用いてスペクトルグラフ畳み込みネットワークを定義する。 高次チェビシェフ近似の過度な平滑化を緩和するために、線形計算複雑性を持つマルチボイトベースのクロスアテンション(MVCAttn)も提案されている。
  論文  参考訳（メタデータ） (2021-06-08T07:49:43Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。