論文の概要: TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis

• arxiv url: http://arxiv.org/abs/2402.16412v2
• Date: Wed, 01 Jan 2025 01:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:33:48.408975
• Title: TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis
• Title（参考訳）: TOTEM:一般時系列解析のためのTokenized Time Series EMbeddings
• Authors: Sabera Talukder, Yisong Yue, Georgia Gkioxari,
• Abstract要約: この研究は、一般(または基礎)モデルを用いた時系列解析の問題を研究する。 自己スーパービジョンを用いて、無数のデータセットから得られた時系列データを離散的にトークン化する簡単な方法を検討する。 本稿では,Tokenized Time Series EMbeddings (TOTEM) を用いて,極小ないし無小の時系列モデルを生成する。
• 参考スコア（独自算出の注目度）: 29.232543319667005
• License:
• Abstract: This work studies the problem of time series analysis with generalist (or foundation) models, which are models trained across many data domains. Drawing inspiration from the widespread success of large language models, we consider the simple strategy of discretely tokenizing time series data drawn from a myriad of datasets via self-supervision, then using the fixed tokenization to solve a variety of tasks across many data domains. Canonically, time series models are either trained on a single dataset or built in a task-specific manner (e.g., a forecasting-only model), where many use patches of time as inputs to the model. As such, performant generalist, discrete representation time series models explored across many tasks are of value. Our method, TOkenized Time Series EMbeddings (TOTEM), produces such generalist time series models with minimal or no fine-tuning while exhibiting strong zero-shot performance. We evaluate TOTEM extensively over nearly 500 experiments on three commonly-studied time series tasks with real-world data: imputation (17 baselines, 12 datasets), anomaly detection (19 baselines, 25 datasets), and forecasting (14 baselines, 12 datasets). We conclude that TOTEM matches or outperforms existing state-of-the-art models in both the canonical specialist setting (i.e., training one model on one domain) as well as the generalist setting (i.e., training a single model on many domains), which demonstrates the efficacy of tokenization for general time series analysis. The open-source implementation is available here: https://github.com/SaberaTalukder/TOTEM; a video summary is available here: https://www.youtube.com/watch?v=OqrCpdb6MJk.
• Abstract（参考訳）: この研究は、多くのデータ領域で訓練されたモデルであるジェネリスト(または基礎)モデルを用いて時系列解析の問題を研究している。 大規模言語モデルの広範な成功からインスピレーションを得た上で、我々は、多数のデータセットから抽出された時系列データを自己スーパービジョンで離散的にトークン化し、固定トークン化を使用して、多くのデータドメインにわたるさまざまなタスクを解決するという単純な戦略を検討する。 皮肉なことに、時系列モデルは単一のデータセットでトレーニングされるか、タスク固有の方法で構築される(例えば、予測のみのモデル)。 このように、多くのタスクにまたがって探索されたパフォーマンス・ジェネラリスト、離散表現時系列モデルは価値がある。 提案手法であるTokenized Time Series EMbeddings (TOTEM) は、ゼロショット性能を強く保ちながら、極小または無小調整の汎用時系列モデルを生成する。 我々は,実世界のデータを用いた3つのよく研究される時系列タスクに関する実験を500回近くにわたって評価した:命令(17ベースライン,12データセット),異常検出(19ベースライン,25データセット),予測(14ベースライン,12データセット)。 我々は、TOTEMが、標準的スペシャリスト設定(例えば、1つのドメインで1つのモデルを訓練する)とジェネラリスト設定(例えば、多くのドメインで1つのモデルを訓練する)の両方において、既存の最先端モデルにマッチするか、より優れていると結論付け、一般的な時系列解析におけるトークン化の有効性を示す。 https://github.com/SaberaTalukder/TOTEM; ビデオ概要はここにある: https://www.youtube.com/watch? v=OqrCpdb6MJk。

関連論文リスト

• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
  textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T07:59:02Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
  汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。 我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。 我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
  論文  参考訳（メタデータ） (2024-02-06T10:48:46Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  Large Pre-trained Time-Series Models (LPTM) は、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する適応セグメンテーションの新しい手法である。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
  本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。 実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-07T14:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。