論文の概要: Time to Embed: Unlocking Foundation Models for Time Series with Channel Descriptions

• arxiv url: http://arxiv.org/abs/2505.14543v1
• Date: Tue, 20 May 2025 15:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.555385
• Title: Time to Embed: Unlocking Foundation Models for Time Series with Channel Descriptions
• Title（参考訳）: Time to Embed: チャネル記述を備えた時系列のファンデーションモデルをアンロックする
• Authors: Utsav Dutta, Sina Khoshfetrat Pakazad, Henrik Ohlsson,
• Abstract要約: 伝統的な時系列モデルはタスク固有であり、しばしばデータセット固有のトレーニングと広範な機能工学に依存している。 我々は、共有、転送可能、ドメイン認識表現を学習する多変量時系列の基盤埋め込みモデルである$textbfCHARM$を紹介した。 モデルはJEPA(Joint Embedding Predictive Architecture)を用いてトレーニングされ、新しい拡張スキームと、解釈性とトレーニング安定性を改善するために設計された損失関数を備える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional time series models are task-specific and often depend on dataset-specific training and extensive feature engineering. While Transformer-based architectures have improved scalability, foundation models, commonplace in text, vision, and audio, remain under-explored for time series and are largely restricted to forecasting. We introduce $\textbf{CHARM}$, a foundation embedding model for multivariate time series that learns shared, transferable, and domain-aware representations. To address the unique difficulties of time series foundation learning, $\textbf{CHARM}$ incorporates architectural innovations that integrate channel-level textual descriptions while remaining invariant to channel order. The model is trained using a Joint Embedding Predictive Architecture (JEPA), with novel augmentation schemes and a loss function designed to improve interpretability and training stability. Our $7$M-parameter model achieves state-of-the-art performance across diverse downstream tasks, setting a new benchmark for time series representation learning.
• Abstract（参考訳）: 伝統的な時系列モデルはタスク固有であり、しばしばデータセット固有のトレーニングと広範な機能工学に依存している。 Transformerベースのアーキテクチャはスケーラビリティを向上しているが、基礎モデル(テキスト、ビジョン、オーディオの共通する場所)は時系列では未探索のままであり、予測に限られている。 共有、転送可能、ドメイン認識表現を学習する多変量時系列の基盤埋め込みモデルである$\textbf{CHARM}$を紹介した。 時系列基礎学習の難しさに対処するため、$\textbf{CHARM}$は、チャネルレベルのテキスト記述を統合しながら、チャネル順序に不変なままのアーキテクチャ革新を取り入れている。 モデルはJEPA(Joint Embedding Predictive Architecture)を用いてトレーニングされ、新しい拡張スキームと、解釈性とトレーニング安定性を改善するために設計された損失関数を備える。 我々の7Mパラメータモデルは、様々な下流タスクにおける最先端のパフォーマンスを実現し、時系列表現学習のための新しいベンチマークを設定します。

関連論文リスト

• UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
  本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。 我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。 また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
  論文  参考訳（メタデータ） (2025-03-26T17:33:23Z)
• TimesBERT: A BERT-Style Foundation Model for Time Series Understanding [72.64824086839631]
  GPTスタイルのモデルは時系列予測の基礎モデルとして位置づけられている。 BERTスタイルのアーキテクチャは時系列理解のために完全にアンロックされていない。 時系列の汎用表現を学ぶために TimesBERT を設計する。 私たちのモデルは、さまざまなドメインにまたがる2600億のタイムポイントで事前トレーニングされています。
  論文  参考訳（メタデータ） (2025-02-28T17:14:44Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Towards Long-Context Time Series Foundation Models [17.224575072056627]
  時系列基礎モデルは、ゼロショットの設定であっても、幅広い領域にわたる様々なタスクにおいて印象的なパフォーマンスを示している。 本研究は,言語領域と時系列領域の両方から,様々な文脈展開手法を体系的に比較することによって,ギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-09-20T14:19:59Z)
• PLUTUS: A Well Pre-trained Large Unified Transformer can Unveil Financial Time Series Regularities [0.848210898747543]
  金融時系列モデリングは市場行動の理解と予測に不可欠である。 従来のモデルは、非線形性、非定常性、高ノイズレベルのために複雑なパターンを捉えるのに苦労している。 NLPにおける大きな言語モデルの成功に触発されて、$textbfPLUTUS$, a $textbfP$re-trained $textbfL$argeを紹介します。 PLUTUSは10億以上のパラメータを持つ最初のオープンソース、大規模、事前訓練された金融時系列モデルである。
  論文  参考訳（メタデータ） (2024-08-19T15:59:46Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。