論文の概要: TSPulse: Dual Space Tiny Pre-Trained Models for Rapid Time-Series Analysis

• arxiv url: http://arxiv.org/abs/2505.13033v1
• Date: Mon, 19 May 2025 12:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.583117
• Title: TSPulse: Dual Space Tiny Pre-Trained Models for Rapid Time-Series Analysis
• Title（参考訳）: TSPulse: 高速時系列解析のための2次元空間Tiny事前訓練モデル
• Authors: Vijay Ekambaram, Subodh Kumar, Arindam Jati, Sumanta Mukherjee, Tomoya Sakai, Pankaj Dayama, Wesley M. Gifford, Jayant Kalagnanam,
• Abstract要約: TSPulseは、1Mパラメータしか持たない超コンパクトな時系列事前訓練モデルである。 分類、異常検出、インプット、検索タスクで強く機能する。 TSPulse 10-100Xは、既存のトレーニング済みモデルよりも小さくなっている。
• 参考スコア（独自算出の注目度）: 12.034816114258803
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rise of time-series pre-trained models has advanced temporal representation learning, but current state-of-the-art models are often large-scale, requiring substantial compute. We introduce TSPulse, ultra-compact time-series pre-trained models with only 1M parameters, specialized to perform strongly across classification, anomaly detection, imputation, and retrieval tasks. TSPulse introduces innovations at both the architecture and task levels. At the architecture level, it employs a dual-space masked reconstruction, learning from both time and frequency domains to capture complementary signals. This is further enhanced by a dual-embedding disentanglement, generating both detailed embeddings for fine-grained analysis and high-level semantic embeddings for broader task understanding. Notably, TSPulse's semantic embeddings are robust to shifts in time, magnitude, and noise, which is important for robust retrieval. At the task level, TSPulse incorporates TSLens, a fine-tuning component enabling task-specific feature attention. It also introduces a multi-head triangulation technique that correlates deviations from multiple prediction heads, enhancing anomaly detection by fusing complementary model outputs. Additionally, a hybrid mask pretraining is proposed to improves zero-shot imputation by reducing pre-training bias. These architecture and task innovations collectively contribute to TSPulse's significant performance gains: 5-16% on the UEA classification benchmarks, +20% on the TSB-AD anomaly detection leaderboard, +50% in zero-shot imputation, and +25% in time-series retrieval. Remarkably, these results are achieved with just 1M parameters, making TSPulse 10-100X smaller than existing pre-trained models. Its efficiency enables GPU-free inference and rapid pre-training, setting a new standard for efficient time-series pre-trained models. Models will be open-sourced soon.
• Abstract（参考訳）: 時系列事前学習モデルの台頭は、時間的表現学習が進んでいるが、現在の最先端モデルは、しばしば大規模であり、相当な計算を必要とする。 TSPulse, Ultra-compact time-series pre-trained model with only 1M parameters, special to perform strong across classification, anomaly detection, imputation, search task。 TSPulseはアーキテクチャレベルとタスクレベルの両方でイノベーションを導入している。 アーキテクチャレベルでは、二重空間マスクによる再構成を採用し、時間領域と周波数領域の両方から学習し、補完的な信号をキャプチャする。 これは、より詳細な分析のための詳細な埋め込みと、より広いタスク理解のための高レベルのセマンティック埋め込みの両方を生成する、二重埋め込みの絡み合いによってさらに強化される。 特に、TSPulseのセマンティック埋め込みは時間、大きさ、ノイズの変化に対して堅牢であり、堅牢な検索にとって重要である。 タスクレベルでは、TSPulseはタスク固有の機能注意を可能にする微調整コンポーネントであるTSLensを組み込んでいる。 また、複数の予測ヘッドからの偏差を相関づけるマルチヘッド三角法を導入し、相補的なモデル出力を融合して異常検出を強化する。 さらに,事前学習バイアスを低減してゼロショット計算を改善するために,ハイブリッドマスク事前訓練を提案する。 これらのアーキテクチャとタスクの革新は、TSPulseの大幅なパフォーマンス向上に貢献している: UEA分類ベンチマークで5-16%、TSB-AD異常検出リーダーボードで+20%、ゼロショット計算で+50%、時系列検索で+25%。 注目すべきは、これらの結果は100Mパラメータだけで達成され、TSPulse 10-100Xは既存のトレーニング済みモデルよりも小さくなることである。 その効率性はGPUのない推論と迅速な事前トレーニングを可能にし、効率的な時系列事前トレーニングモデルのための新しい標準を設定する。 モデルはまもなくオープンソース化される予定だ。

関連論文リスト

• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series [11.635608108358575]
  本稿では,効率的な転送学習機能を備えたコンパクトモデルであるTiny Time Mixers (TTM)について紹介する。 TTMには、適応パッチ、多様な解像度サンプリング、およびさまざまなデータセット解像度の事前トレーニングを処理するための解像度プレフィックスチューニングなどのイノベーションが含まれている。 既存のベンチマークでは0/few-shot予測(4-40%)を上回り、計算要求を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-08T15:21:21Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。