論文の概要: TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts
- arxiv url: http://arxiv.org/abs/2602.21693v1
- Date: Wed, 25 Feb 2026 08:51:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.76216
- Title: TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts
- Title(参考訳): TiMi: エキスパートのマルチモーダル混合による時系列変換器
- Authors: Jiafeng Lin, Yuxuan Wang, Huakun Luo, Zhongyi Pei, Jianmin Wang,
- Abstract要約: LLMの因果推論能力を解き放つために,マルチモーダル・ミックス・オブ・エキスパート(TiMi)を用いた時系列変換器を提案する。
因子と時系列の両方をシームレスに予測に統合するために,Multimodal Mixture-of-Experts (MMoE) モジュールを導入する。
- 参考スコア(独自算出の注目度): 16.497819301793538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal time series forecasting has garnered significant attention for its potential to provide more accurate predictions than traditional single-modality models by leveraging rich information inherent in other modalities. However, due to fundamental challenges in modality alignment, existing methods often struggle to effectively incorporate multimodal data into predictions, particularly textual information that has a causal influence on time series fluctuations, such as emergency reports and policy announcements. In this paper, we reflect on the role of textual information in numerical forecasting and propose Time series transformers with Multimodal Mixture-of-Experts, TiMi, to unleash the causal reasoning capabilities of LLMs. Concretely, TiMi utilizes LLMs to generate inferences on future developments, which serve as guidance for time series forecasting. To seamlessly integrate both exogenous factors and time series into predictions, we introduce a Multimodal Mixture-of-Experts (MMoE) module as a lightweight plug-in to empower Transformer-based time series models for multimodal forecasting, eliminating the need for explicit representation-level alignment. Experimentally, our proposed TiMi demonstrates consistent state-of-the-art performance on sixteen real-world multimodal forecasting benchmarks, outperforming advanced baselines while offering both strong adaptability and interpretability.
- Abstract(参考訳): マルチモーダル時系列予測は、他のモーダルに固有の豊富な情報を活用することで、従来の単一モーダルモデルよりも正確な予測を提供する可能性について、大きな注目を集めている。
しかし、モーダルアライメントの根本的な課題のため、既存の手法では、特に緊急報告や政策発表などの時系列変動に因果関係のあるテキスト情報など、マルチモーダルデータを効果的に予測に組み込むのに苦労することが多い。
本稿では, 数値予測におけるテキスト情報の役割を反映し, LLMの因果推論能力を解き放つために, マルチモーダル・ミックス・オブ・エクスプロイト(TiMi)を用いた時系列変換器を提案する。
具体的には、TiMi は LLM を用いて将来の展開を推測し、時系列予測のガイダンスとして機能する。
外部要因と時系列の両方をシームレスに予測に統合するために,マルチモーダル・ミックス・オブ・エクササイズ(MMOE)モジュールを軽量なプラグインとして導入し,トランスフォーマーベースの時系列モデルをマルチモーダル予測に活用し,明示的な表現レベルアライメントの必要性を排除した。
実験により,提案したTiMiは16の実世界のマルチモーダル予測ベンチマーク上で一貫した性能を示し,高い適応性と解釈性の両方を提供しながら,高度なベースラインを上回った。
関連論文リスト
- Multi-Modal Time Series Prediction via Mixture of Modulated Experts [28.358760170766004]
マルチモーダル時系列予測のための新しいパラダイムであるExpert Modulationを提案する。
提案手法は,マルチモーダル時系列予測の大幅な改善を示す。
論文 参考訳(メタデータ) (2026-01-29T11:03:09Z) - When Does Multimodality Lead to Better Time Series Forecasting? [96.26052272121615]
このようなマルチモーダルな統合が常に利益をもたらすかどうか、どのような条件で検討する。
その結果,マルチモーダリティの利点は条件に依存していることが判明した。
我々の研究は、マルチモーダリティが予測タスクに役立つことをいつ予測できるかを理解するための厳密で定量的な基礎を提供する。
論文 参考訳(メタデータ) (2025-06-20T23:55:56Z) - ChronoSteer: Bridging Large Language Model and Time Series Foundation Model via Synthetic Data [22.81326423408988]
我々はChronoSteerを紹介した。ChronoSteerはマルチモーダルTSFMであり、テキストのリビジョン命令で操作できる。
クロスモーダルな命令系列ペアデータ不足を軽減するため,合成データに基づく2段階のトレーニング戦略を考案した。
ChronoSteerは、前回の最先端マルチモーダル法よりも25.7%の精度で予測精度が向上し、22.5%も向上した。
論文 参考訳(メタデータ) (2025-05-15T08:37:23Z) - Dual-Forecaster: A Multimodal Time Series Model Integrating Descriptive and Predictive Texts [5.873261646876953]
本稿では,記述的歴史的テキスト情報と予測的テキストインサイトを組み合わせたマルチモーダル時系列モデルであるDual-Forecasterを提案する。
15のマルチモーダル時系列データセットに対する包括的評価は、Dual-Forecasterが明らかに有効なマルチモーダル時系列モデルであることを示している。
論文 参考訳(メタデータ) (2025-05-02T09:24:31Z) - TimeXL: Explainable Multi-modal Time Series Prediction with LLM-in-the-Loop [79.5773512667468]
TimeXLは、プロトタイプベースの時系列エンコーダと3つの協調する大規模言語モデルを統合するマルチモーダル予測フレームワークである。
リフレクションLLMは、予測された値と地上の真実を比較し、テキストの不整合やノイズを識別する。
このクローズドループワークフロー予測、批判(参照)、改善が連続的にフレームワークのパフォーマンスと解釈可能性を高めます。
論文 参考訳(メタデータ) (2025-03-02T20:40:53Z) - MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。
予測性能を高めるために3段階の相関を同時に検討する。
注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
論文 参考訳(メタデータ) (2024-05-30T03:32:44Z) - Modality-aware Transformer for Financial Time series Forecasting [3.401797102198429]
我々は,textitModality-aware Transformer という,新しいマルチモーダルトランスモデルを提案する。
本モデルでは,対象とする時系列を効果的に予測するために,分類的テキストと数値的時系列の両方のパワーを探索することに長けている。
財務データセットに関する我々の実験は、Modality-aware Transformerが既存の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-10-02T14:22:41Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。