論文の概要: VisionTS++: Cross-Modal Time Series Foundation Model with Continual Pre-trained Visual Backbones

• arxiv url: http://arxiv.org/abs/2508.04379v1
• Date: Wed, 06 Aug 2025 12:17:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.7081
• Title: VisionTS++: Cross-Modal Time Series Foundation Model with Continual Pre-trained Visual Backbones
• Title（参考訳）: VisionTS++: 継続的にトレーニングされたビジュアルバックボーンを備えたクロスプラットフォームの時系列ファンデーションモデル
• Authors: Lefei Shen, Mouxiang Chen, Xu Liu, Han Fu, Xiaoxue Ren, Jianling Sun, Zhuo Li, Chenghao Liu,
• Abstract要約: 大規模時系列データセット上で連続的な事前学習を行うビジョンモデルに基づくTSFMであるVisionTS++を提案する。 本研究は,クロスモーダルな知識伝達のための新たなパラダイムを確立し,汎用TSFMの開発を推進している。
• 参考スコア（独自算出の注目度）: 27.97547118858576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have revealed that vision models pre-trained on images can perform well in time series forecasting by reformulating forecasting as an image reconstruction task, suggesting their potential as universal time series foundation models. However, effective cross-modal transfer from vision to time series remains challenging due to three key discrepancies: (1) data-modality gap between structured, bounded image data and unbounded, heterogeneous time series; (2) multivariate-forecasting gap between standard RGB three-channel-based vision models and the need to model time series with arbitrary numbers of variates; and (3) probabilistic-forecasting gap between the deterministic output formats of most vision models and the requirement for uncertainty-aware probabilistic predictions. To bridge these gaps, we propose VisionTS++, a vision-model-based TSFM that performs continual pre-training on large-scale time series datasets, including 3 innovations: (1) a vision-model-based filtering mechanism to identify high-quality time series data, thereby mitigating modality gap and improving pre-training stability, (2) a colorized multivariate conversion method that transforms multivariate time series into multi-subfigure RGB images, capturing complex inter-variate dependencies; and (3) a multi-quantile forecasting approach using parallel reconstruction heads to generate forecasts of different quantile levels, thus more flexibly approximating arbitrary output distributions without restrictive prior distributional assumptions. Evaluated on both in-distribution and out-of-distribution TSF benchmarks, \model achieves SOTA results, outperforming specialized TSFMs by 6%-44% in MSE reduction and ranking first in 9 out of 12 probabilistic forecasting settings. Our work establishes a new paradigm for cross-modal knowledge transfer, advancing the development of universal TSFMs.
• Abstract（参考訳）: 近年の研究では、画像上で事前訓練された視覚モデルは、画像再構成タスクとして予測を変更することで時系列予測において良好に機能し、ユニバーサル時系列基盤モデルとしての可能性が示唆されている。 しかし,(1)構造化,有界画像データと非有界・異種時系列間のデータモダリティギャップ,(2)標準RGB3チャンネルベースビジョンモデル間の多変量予測ギャップ,(3)ほとんどの視覚モデルの決定論的出力フォーマット間の確率的予測ギャップ,および不確実性を考慮した確率的確率的予測の必要性,の3つの相違により,視覚から時系列への効果的なクロスモーダル転送は依然として困難である。 これらのギャップを埋めるために、視覚モデルに基づくTSFM、(1)高品質な時系列データを識別し、モダリティギャップを緩和し、事前訓練安定性を向上させるビジョンモデルに基づくフィルタリング機構、(2)多変量時系列をマルチサブフィギュアRGB画像に変換し、複雑な相互依存をキャプチャする色付き多変量変換法、(3)並列再構成ヘッドを用いて異なる量子化レベルの予測を生成するマルチクァンタリー予測手法、の3つの革新を含む、大規模時系列データセット上で連続的な事前学習を行うビジョンモデルベースのTSFMを提案する。 ディストリビューションとアウト・オブ・ディストリビューションのTSFベンチマークで評価した結果、12の確率的予測設定のうち9位にランクインし、特殊TSFMを6%-44%上回った。 本研究は,クロスモーダルな知識伝達のための新たなパラダイムを確立し,汎用TSFMの開発を推進している。

関連論文リスト

• T3Time: Tri-Modal Time Series Forecasting via Adaptive Multi-Head Alignment and Residual Fusion [0.4915744683251151]
  T3Timeは、時間、スペクトル、プロンプトブランチで構成される新しい3モーダルフレームワークである。 予測地平線に基づいて時間的特徴とスペクトル的特徴の優先順位付けを学習する。 我々のモデルは一貫して最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-08-06T09:31:44Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• UTSD: Unified Time Series Diffusion Model [13.555837288440946]
  多領域確率分布をモデル化するために、初めて統一時系列拡散モデルを確立する。 我々は、主要なベンチマークで広範な実験を行い、事前訓練されたUTSDは、すべてのデータドメインにおける既存の基礎モデルより優れています。
  論文  参考訳（メタデータ） (2024-12-04T06:42:55Z)
• DisenTS: Disentangled Channel Evolving Pattern Modeling for Multivariate Time Series Forecasting [43.071713191702486]
  DisenTSは、一般的な時系列予測において、不整合チャネル進化パターンをモデル化するための調整されたフレームワークである。 本稿では,予測器の状態と入力系列の特性の両方に応じて適応的にルーティング信号を生成する,新しいフォアキャスタ・アウェアゲート(FAG)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-30T12:46:14Z)
• DAM: Towards A Foundation Model for Time Series Forecasting [0.8231118867997028]
  本稿では,ランダムにサンプリングされた履歴を抽出し,時間連続関数として調整可能な基底組成を出力するニューラルモデルを提案する。 1)長い尾の分布からランダムにサンプリングされたヒストリーを使用する柔軟なアプローチ、(2)これらの活発にサンプリングされたヒストリーに基づいてトレーニングされたトランスフォーマーバックボーンを表現的出力として、(3)時間の連続関数の基底係数を含む。
  論文  参考訳（メタデータ） (2024-07-25T08:48:07Z)
• MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
  本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。 予測性能を高めるために3段階の相関を同時に検討する。 注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
  論文  参考訳（メタデータ） (2024-05-30T03:32:44Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Temporal Saliency Detection Towards Explainable Transformer-based Timeseries Forecasting [3.046315755726937]
  本稿では、注意機構を基盤として、マルチ水平時系列予測に適用する効果的なアプローチであるTSD(Temporal Saliency Detection)を提案する。 TSD手法は, 多重ヘッドを凝縮することにより, 多分解能パターンの多分解能解析を容易にし, 複雑な時系列データの予測を段階的に向上させる。
  論文  参考訳（メタデータ） (2022-12-15T12:47:59Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation [7.38079566297881]
  GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。 本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-06T13:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。