論文の概要: EMAGN: Efficient Multi-Attention Graph Network via Learned Clustering for Scalable Traffic Forecasting

• arxiv url: http://arxiv.org/abs/2607.13241v1
• Date: Tue, 14 Jul 2026 20:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.579479
• Title: EMAGN: Efficient Multi-Attention Graph Network via Learned Clustering for Scalable Traffic Forecasting
• Title（参考訳）: EMAGN: スケーラブルトラフィック予測のための学習クラスタリングによる効率的なマルチアテンショングラフネットワーク
• Abstract要約: 複雑で非線形な空間的および時間的依存関係のため、交通予測は非常に困難である。 本稿では,空間的注意機構自体を線形化する効率的なマルチアテンショングラフネットワーク(EMAGN)を提案する。 EMAGNは、フルアテンションGMANの2.7-3.2%の精度でトレーニング時間を32%、推論時間を38%、GPUメモリを58%削減する。
• 参考スコア（独自算出の注目度）: 11.564010112079847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traffic forecasting is highly challenging due to complex and nonlinear spatial and temporal dependencies. Self-attention mechanisms have been widely adopted to model dynamic and long-range dependencies, achieving state-of-the-art performance, but suffer from limited scalability due to quadratic computational and memory complexity. To address this, we propose an Efficient Multi-Attention Graph Network (EMAGN) that linearises the spatial attention mechanism itself, inspired by the theory of fast high-dimensional Gaussian filtering. Two learned clustering matrices C_k and C_v adaptively group key and value vectors into M super-clusters, reducing complexity from O(N^2 d) to O(NMd) without sacrificing the flexibility of attention for dynamic dependency modelling. Experimental results on PEMS-BAY and METR-LA show that EMAGN achieves accuracy within 2.7-3.2% MAE of full-attention GMAN while reducing training time by 32%, inference time by 38%, and GPU memory by 58%. Critically, at K=16 attention heads, full-attention GMAN runs out of memory on a standard 11 GB GPU entirely while EMAGN continues to operate, demonstrating a categorical expansion of feasible model configurations. EMAGN also surpasses Linformer and Performer in both accuracy and efficiency within the same backbone, owing to its traffic-network-aware adaptive clustering.
• Abstract（参考訳）: 複雑で非線形な空間的および時間的依存関係のため、交通予測は非常に困難である。 動的および長距離の依存関係をモデル化し、最先端の性能を達成するために、自己注意機構が広く採用されているが、二次計算とメモリの複雑さのためにスケーラビリティが制限されている。 そこで本稿では,高速な高次元ガウスフィルタ理論に着想を得て,空間的注意機構自体を線形化するマルチアテンショングラフネットワーク(EMAGN)を提案する。 2つの学習されたクラスタリング行列 C_k と C_v は、キーと値ベクトルを M スーパークラスタに適応的にグループ化し、動的依存モデリングの注意の柔軟性を犠牲にすることなく、O(N^2 d) から O(NMd) への複雑性を低減した。 PEMS-BAYとMETR-LAの実験結果によると、EMAGNはフルアテンションGMANの2.7～3.2%の精度でトレーニング時間を32%、推論時間を38%、GPUメモリを58%削減している。 重要な点として、K=16のアテンションヘッドでは、フルアテンションGMANは標準の11GBのGPUでメモリを使い果たし、EMAGNは引き続き動作し、実行可能なモデル構成のカテゴリ拡張を示す。 EMAGNは、トラフィックネットワーク対応のアダプティブクラスタリングのため、同じバックボーン内の精度と効率の両方でLinformerとPerformerを上回っている。

関連論文リスト

• Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models [12.459927405623624]
  Divide-and-Conquer Inference (DCI)はMLLMを用いた視覚認識のための新しいテスト時間スケーリング戦略である。 DCIは、複雑なグローバルな分類タスクを、より単純で局所化されたサブプロブレムに分解し、探索空間を圧縮するために動的プルーニング機構を使用する。 モデルに依存しないプラグアンドプレイのパラダイムとして、DCIは大規模なシナリオでMLLMの推論精度をスケールするための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-05-24T01:07:05Z)
• DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
  本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。 メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
  論文  参考訳（メタデータ） (2026-04-13T03:19:36Z)
• Adaptive Mesh-Quantization for Neural PDE Solvers [51.26961483962011]
  グラフニューラルネットワークは複雑なジオメトリや境界条件に必要な不規則なメッシュを処理できるが、それでもすべてのノードで一様計算処理を適用できる。 適応メッシュ量子化(Adaptive Mesh Quantization): メッシュノード,エッジ,クラスタ特徴間の空間適応量子化であり,量子化モデルで使用されるビット幅を動的に調整する。 我々は,MP-PDEとGraphViTという2つの最先端モデルと統合して,複数のタスクのパフォーマンスを評価することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2025-11-23T14:47:24Z)
• MSD-KMamba: Bidirectional Spatial-Aware Multi-Modal 3D Brain Segmentation via Multi-scale Self-Distilled Fusion Strategy [15.270952880303533]
  本稿では,新しい3次元マルチモーダル画像分割フレームワークMSD-KMambaを提案する。 双方向の空間知覚とマルチスケールの自己蒸留を統合している。 我々のフレームワークは、セグメンテーション精度、ロバスト性、一般化における最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-28T06:34:01Z)
• Trainable Dynamic Mask Sparse Attention [11.506985057671015]
  トレーニング可能なダイナミックマスクスパースアテンション機構を導入し、位置認識とコンテンツ認識の両方のアプローチの利点を融合する手法を提案する。 導入したダイナミックマスクとスパースウェイトは勾配を阻害せず、エンドツーエンドのトレーニングを支援することを実証する。
  論文  参考訳（メタデータ） (2025-08-04T07:05:15Z)
• ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion [73.85920403511706]
  スケーラブルで効果的なグラフ学習のためのマルチホップノード機能を適応的に融合する新しいフレームワークであるScaleGNNを提案する。 予測精度と計算効率の両面で,ScaleGNNは最先端のGNNよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-22T14:05:11Z)
• Extended Short- and Long-Range Mesh Learning for Fast and Generalized Garment Simulation [15.769706073808031]
  3次元衣料シミュレーションは、布ベースのグラフィックを作る上で重要な要素である。 グラフニューラルネットワーク(GNN)の最近の進歩は、効率的な衣服シミュレーションに有望なアプローチを提供する。 我々は、最小限のオーバーヘッドでメッセージパス範囲を拡張するために、2つの重要なコンポーネントを持つ新しいGNNベースのメッシュ学習フレームワークを考案した。
  論文  参考訳（メタデータ） (2025-04-16T04:56:01Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DyG-Mamba: Continuous State Space Modeling on Dynamic Graphs [59.434893231950205]
  動的グラフ学習は、現実世界のシステムにおける進化の法則を明らかにすることを目的としている。 動的グラフ学習のための新しい連続状態空間モデルDyG-Mambaを提案する。 我々はDyG-Mambaがほとんどのデータセットで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-08-13T15:21:46Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture [13.149863422504332]
  H-GCNはその固有の不均一性に基づいてグラフを3つの部分グラフに分割し、それぞれPLとAIEを使用して処理する。 最先端のGNNアクセラレータと比較して、H-GCNは平均して1.12.3Xのスピードアップを達成する。
  論文  参考訳（メタデータ） (2022-06-28T03:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。