論文の概要: Scale-Aware Pretraining of Time Series Foundation Models via Multi-Patch Token Alignment and Hybrid Masking

• arxiv url: http://arxiv.org/abs/2608.20005v1
• Date: Thu, 20 Aug 2026 13:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.571305
• Title: Scale-Aware Pretraining of Time Series Foundation Models via Multi-Patch Token Alignment and Hybrid Masking
• Title（参考訳）: マルチパッチトークンアライメントとハイブリッドマスキングによる時系列基礎モデルのスケールアウェア事前学習
• Authors: Taihua Chen, Xiang Ma, Yixin Zhang, Tailin Zhan, Manyu Sun, Lizhen Cui,
• Abstract要約: パッチサイズをスケールの明示的な概念として扱う,スケール対応のトークンアライメント機構を特徴とするSATSを提案する。 モデル効率を65.6%向上させながら,SATSが一貫したSOTA性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 41.437881628658786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining time series foundation models across heterogeneous datasets necessitates effective handling of varying sampling frequencies. Current methods either employ dataset-specific patch sizes and separate FFNs, leading to fragmented representations, or enforce a fixed patch size that neglects inherent temporal variations. To address this, we propose SATS, featuring a scale-aware token alignment mechanism that treats patch size as an explicit notion of scale. By incorporating a contrastive-inspired alignment regularizer, SATS aligns representation spaces across scales while preserving distinct modeling capacities. Furthermore, a hybrid masking strategy combining random and contiguous masking is introduced to capture multi-scale temporal structures. Experimental results on LSTF benchmarks demonstrate that SATS achieves a 9.2% improvement in MSE and an 8.3% gain in GIFT-Eval MASE compared to competitive baselines. Notably, SATS consistently delivers SOTA performance while achieving a 65.6% increase in model efficiency over advanced baselines, highlighting its effectiveness and scalability in time series pretraining.
• Abstract（参考訳）: 不均一データセット間の時系列基礎モデルの事前訓練は、様々なサンプリング周波数を効果的に扱う必要がある。 現在のメソッドでは、データセット固有のパッチサイズとFFNの分離を使用して、断片化された表現につながるか、あるいは固有の時間的変動を無視した固定されたパッチサイズを強制する。 そこで本稿では,パッチサイズをスケールの明示的な概念として扱う,スケール対応のトークンアライメント機構を特徴とするSATSを提案する。 対照的にインスパイアされたアライメント正規化器を組み込むことで、SATSは異なるモデリング能力を維持しながらスケールにわたって表現空間を整列させる。 さらに,マルチスケールの時間構造を捉えるために,ランダムマスキングと連続マスキングを組み合わせたハイブリッドマスキング戦略を導入する。 LSTFベンチマークの実験結果によると、SATSはMSEが9.2%改善し、GIFT-Eval MASEが8.3%向上した。 特にSATSは、高度ベースラインよりも65.6%のモデル効率向上を実現しつつ、SOTAのパフォーマンスを継続的に提供し、時系列事前トレーニングの有効性とスケーラビリティを強調している。

関連論文リスト

• Self-Adaptive Scale Handling for Forecasting Time Series with Scale Heterogeneity [9.93833018390445]
  自己適応型スケールハンドリング(AS)モジュールは、各入力に合わせて調整された適応型スケールファクタを学習する。 Asは人気のあるTSFモデルにシームレスに統合され、継続的にパフォーマンスを改善します。
  論文  参考訳（メタデータ） (2026-06-18T09:44:25Z)
• From Numbers to Prompts: A Cognitive Symbolic Transition Mechanism for Lightweight Time-Series Forecasting [2.7501248535328315]
  シンボリック・トランジション・メカニズム(STM)は、数値時系列データと言語モデルをシンボリック・抽象化とプロンプト・エンジニアリングを通じて橋渡しする。 計算環境が限定された4つの小言語モデル (SLM) と組み合わせて, 時系列データセット上でSTMを評価する。 全てのモデルにおいて、STMは、STMのないデフォルトのバックボーンSLMと比較して、MAEの最大69%、MSEの最大90%のエラー削減を実現している。
  論文  参考訳（メタデータ） (2026-01-23T02:49:51Z)
• UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
  マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。 コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。 8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-12-08T05:36:14Z)
• Kairos: Towards Adaptive and Generalizable Time Series Foundation Models [27.076542021368056]
  時系列基礎モデル (TSFM) は時系列解析の強力なパラダイムとして登場してきた。 動的パッチトークンとインスタンス適応型位置埋め込みを統合した,柔軟なTSFMフレームワークであるKairosを提案する。 Kairosは2つの共通ゼロショットベンチマークのパラメータをはるかに少なくして、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-09-30T06:02:26Z)
• MATEY: multiscale adaptive foundation models for spatiotemporal physical systems [2.7767126393602726]
  局所的な特徴に基づくパッチサイズを動的に調整する2つの適応トークン化方式を提案する。 提案するマルチスケール適応モデルであるMATEYの性能を実験で評価する。 また、PDEデータに基づいて事前学習した物理を特徴とする微調整タスクについても紹介する。
  論文  参考訳（メタデータ） (2024-12-29T22:13:16Z)
• TSCMamba: Mamba Meets Multi-View Learning for Time Series Classification [13.110156202816112]
  シフト等分散のような特性を持つパターンを捉えるための新しい多視点手法を提案する。 提案手法は, スペクトル, 時間, 局所, グローバルな特徴を含む多様な特徴を統合して, TSCのリッチで相補的な文脈を得る。 提案手法では,TSCモデルよりも平均精度が4.01-6.45%,7.93%向上した。
  論文  参考訳（メタデータ） (2024-06-06T18:05:10Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。