論文の概要: FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2601.05174v1
- Date: Thu, 08 Jan 2026 18:00:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-09 17:01:53.321502
- Title: FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts
- Title(参考訳): FaST:Mixture-of-Expertsによる大規模空間時間グラフの効率的かつ効果的なロング水平予測
- Authors: Yiji Zhao, Zihao Zhong, Ao Wang, Haomin Wen, Ming Jin, Yuxuan Liang, Huaiyu Wan, Hao Wu,
- Abstract要約: 既存のモデルは、主に短期水平予測に焦点を当てており、悪名高い計算コストとメモリ消費に悩まされている。
本稿では,長期・大規模STG予測のためのMixture-of-Experts(MoEs)に基づく,効率的かつ効率的なフレームワークであるFaSTを提案する。
まず、計算負担を軽減するための適応型グラフエージェントアテンション機構を提案する。
第2に,従来のフィードフォワードネットワークを Gated Linear Units (GLUs) に置き換えた新しい並列MoEモジュールを提案する。
- 参考スコア(独自算出の注目度): 49.9321870703948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial-Temporal Graph (STG) forecasting on large-scale networks has garnered significant attention. However, existing models predominantly focus on short-horizon predictions and suffer from notorious computational costs and memory consumption when scaling to long-horizon predictions and large graphs. Targeting the above challenges, we present FaST, an effective and efficient framework based on heterogeneity-aware Mixture-of-Experts (MoEs) for long-horizon and large-scale STG forecasting, which unlocks one-week-ahead (672 steps at a 15-minute granularity) prediction with thousands of nodes. FaST is underpinned by two key innovations. First, an adaptive graph agent attention mechanism is proposed to alleviate the computational burden inherent in conventional graph convolution and self-attention modules when applied to large-scale graphs. Second, we propose a new parallel MoE module that replaces traditional feed-forward networks with Gated Linear Units (GLUs), enabling an efficient and scalable parallel structure. Extensive experiments on real-world datasets demonstrate that FaST not only delivers superior long-horizon predictive accuracy but also achieves remarkable computational efficiency compared to state-of-the-art baselines. Our source code is available at: https://github.com/yijizhao/FaST.
- Abstract(参考訳): 大規模ネットワーク上での空間時間グラフ(STG)の予測は注目されている。
しかし、既存のモデルは、主に短期水平予測に焦点を当てており、長期水平予測や大規模グラフへのスケーリングにおいて、悪名高い計算コストとメモリ消費に悩まされている。
上記の課題を目標として,長期および大規模STG予測のためのヘテロジニティを意識したMixture-of-Experts(MoEs)に基づく,効率的かつ効率的なフレームワークであるFaSTを提案する。
FaSTは2つの重要なイノベーションによって支えられている。
まず,大規模グラフに適用した場合の従来のグラフ畳み込みや自己アテンションモジュールに固有の計算負担を軽減するため,適応型グラフエージェントアテンション機構を提案する。
第2に,従来のフィードフォワードネットワークを Gated Linear Units (GLUs) に置き換えた新しい並列MoEモジュールを提案する。
実世界のデータセットに対する大規模な実験により、FaSTはより優れた長距離予測精度を提供するだけでなく、最先端のベースラインに比べて計算効率が著しく向上することが示された。
私たちのソースコードは、https://github.com/yijizhao/FaST.orgで公開されています。
関連論文リスト
- Does Scaling Law Apply in Time Series Forecasting? [2.127584662240465]
我々は,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。
7つのベンチマークデータセットの実験では、Alinearが大規模モデルよりも一貫して優れていることが示されている。
この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。
論文 参考訳(メタデータ) (2025-05-15T11:04:39Z) - ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion [73.85920403511706]
スケーラブルで効果的なグラフ学習のためのマルチホップノード機能を適応的に融合する新しいフレームワークであるScaleGNNを提案する。
予測精度と計算効率の両面で,ScaleGNNは最先端のGNNよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2025-04-22T14:05:11Z) - Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。
計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。
既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
論文 参考訳(メタデータ) (2024-12-19T07:48:14Z) - FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure
Graph Perspective [48.00240550685946]
現在の最先端グラフニューラルネットワーク(GNN)ベースの予測手法は、通常、シリーズ間(空間)のダイナミックスとシリーズ内(時間)の依存関係をキャプチャするために、グラフネットワーク(GCNなど)と時間ネットワーク(LSTMなど)の両方を必要とする。
提案するフーリエグラフ演算子(FGO)を積み重ねて,フーリエ空間で行列乗算を行うことにより,新しいフーリエグラフニューラルネットワーク(FourierGNN)を提案する。
7つのデータセットに対する実験は、より効率が良く、パラメータも少ないという優れた性能を示した。
論文 参考訳(メタデータ) (2023-11-10T17:13:26Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - HUTFormer: Hierarchical U-Net Transformer for Long-Term Traffic
Forecasting [13.49661832917228]
我々は,例えば1日間の予測など,長期の交通予測を探求する最初の試みを行っている。
本稿では,長期交通予測の問題に対処する新しい階層型U-netトランスフォーマーを提案する。
提案したHUTFormerは、最先端のトラフィック予測と長時間の時系列予測ベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2023-07-27T02:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。