論文の概要: TimeExpert: Boosting Long Time Series Forecasting with Temporal Mix of Experts
- arxiv url: http://arxiv.org/abs/2509.23145v1
- Date: Sat, 27 Sep 2025 06:22:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.068432
- Title: TimeExpert: Boosting Long Time Series Forecasting with Temporal Mix of Experts
- Title(参考訳): TimeExpert: 専門家の時間的混合による時系列予測の強化
- Authors: Xiaowen Ma, Shuning Ge, Fan Yang, Xiangyu Li, Yun Chen, Mengting Ma, Wei Zhang, Zhipeng Liu,
- Abstract要約: 本稿では,キー値(K-V)ペアを局所的な専門家として再認識する,新たな注目レベルメカニズムであるTMOEを提案する。
TMOEは、無関係なタイムスタンプの局所フィルタリングを通じて、クエリ毎に適応的な専門家選択を行う。
次に、一般的な時系列トランスフォーマーフレームワーク(PatchTSTとTimer)のバニラアテンションメカニズムをTMOEに置き換える。
- 参考スコア(独自算出の注目度): 11.53964887034519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based architectures dominate time series modeling by enabling global attention over all timestamps, yet their rigid 'one-size-fits-all' context aggregation fails to address two critical challenges in real-world data: (1) inherent lag effects, where the relevance of historical timestamps to a query varies dynamically; (2) anomalous segments, which introduce noisy signals that degrade forecasting accuracy. To resolve these problems, we propose the Temporal Mix of Experts (TMOE), a novel attention-level mechanism that reimagines key-value (K-V) pairs as local experts (each specialized in a distinct temporal context) and performs adaptive expert selection for each query via localized filtering of irrelevant timestamps. Complementing this local adaptation, a shared global expert preserves the Transformer's strength in capturing long-range dependencies. We then replace the vanilla attention mechanism in popular time-series Transformer frameworks (i.e., PatchTST and Timer) with TMOE, without extra structural modifications, yielding our specific version TimeExpert and general version TimeExpert-G. Extensive experiments on seven real-world long-term forecasting benchmarks demonstrate that TimeExpert and TimeExpert-G outperform state-of-the-art methods. Code is available at https://github.com/xwmaxwma/TimeExpert.
- Abstract(参考訳): トランスフォーマーをベースとしたアーキテクチャは,すべてのタイムスタンプに対してグローバルな注意を払って時系列モデリングを支配しているが,その厳密な「ワンサイズフィットオール」コンテキストアグリゲーションは,実世界のデータにおける2つの重要な課題に対処できない:(1) 履歴タイムスタンプのクエリに対する関連性が動的に変化する固有のラグ効果,(2) 予測精度を低下させるノイズ信号を導入する異常セグメント。
これらの問題を解決するために,キー値(K-V)ペアを局所的専門家(それぞれ異なる時間的文脈に特化している)として再定義し,無関係なタイムスタンプの局所的フィルタリングによって各クエリに対して適応的な専門家選択を行う,新たな注意レベルメカニズムであるTMOEを提案する。
この局所的な適応を補完する、共有グローバルエキスパートは、長距離依存関係をキャプチャするTransformerの強みを保ちます。
次に、一般的な時系列トランスフォーマーフレームワーク(PatchTSTとTimer)のバニラアテンションメカニズムをTMOEに置き換えます。
7つの実世界の長期予測ベンチマークに関する大規模な実験は、TimeExpertとTimeExpert-Gが最先端の手法より優れていることを示した。
コードはhttps://github.com/xwmaxwma/TimeExpert.comで入手できる。
関連論文リスト
- TimePro: Efficient Multivariate Long-term Time Series Forecasting with Variable- and Time-Aware Hyper-state [12.940694192516059]
長期の時系列予測では、異なる変数が異なる時間間隔でターゲット変数に影響を与えることが多い。
伝統的なモデルは典型的にはすべての変数や時間点を一様に処理し、複雑な変数関係を捉える能力を制限する。
本稿では,多変量および時間認識型ハイパーステートを構築するMambaベースの革新的なモデルであるTimeProを提案する。
論文 参考訳(メタデータ) (2025-05-27T06:24:21Z) - Unify and Anchor: A Context-Aware Transformer for Cross-Domain Time Series Forecasting [26.59526791215]
ドメイン間の時系列予測において,時間的パターンの複雑さと意味的ミスアライメントの2つの重要な課題を識別する。
本稿では,周波数成分を統一的な視点でアンタングルする"Unify and Anchor"転送パラダイムを提案する。
本稿では,構造化表現に時系列コーディネータを用いたTransformerベースのモデルであるContexTSTを紹介する。
論文 参考訳(メタデータ) (2025-03-03T04:11:14Z) - Learning Pattern-Specific Experts for Time Series Forecasting Under Patch-level Distribution Shift [30.581736814767606]
時系列予測は、過去のデータに基づいて将来の価値を予測することを目的としている。
実世界の時間はしばしば、季節、動作条件、意味的な意味など、セグメントごとに異なるパターンを持つ複雑な非一様分布を示す。
本稿では,より正確で適応可能な時系列予測のために,パターン特化の専門家を活用した新しいアーキテクチャbftextSを提案する。
論文 参考訳(メタデータ) (2024-10-13T13:35:29Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳(メタデータ) (2024-10-07T07:27:39Z) - TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
TimeXerは外部情報を取り込み、内因性変数の予測を強化する。
TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-29T11:54:35Z) - Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting [8.000134983886742]
3つのスパース成分からなるドーザー注意機構を提案する。
これらのコンポーネントは、局所性、季節性、グローバルな時間的依存関係を含む、MSSデータの本質的な属性をキャプチャするために設計されている。
MTS予測タスクに対するDozer Attentionメカニズムを取り入れたDozerformer Frameworkを提案する。
論文 参考訳(メタデータ) (2023-12-11T22:49:02Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。