論文の概要: Towards Long-Context Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2409.13530v1
• Date: Fri, 20 Sep 2024 14:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 06:41:58.320945
• Title: Towards Long-Context Time Series Foundation Models
• Title（参考訳）: 時系列基礎モデルに向けて
• Authors: Nina Żukowska, Mononito Goswami, Michał Wiliński, Willa Potosnak, Artur Dubrawski,
• Abstract要約: 時系列基礎モデルは、ゼロショットの設定であっても、幅広い領域にわたる様々なタスクにおいて印象的なパフォーマンスを示している。 本研究は,言語領域と時系列領域の両方から,様々な文脈展開手法を体系的に比較することによって,ギャップを埋めるものである。
• 参考スコア（独自算出の注目度）: 17.224575072056627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models have shown impressive performance on a variety of tasks, across a wide range of domains, even in zero-shot settings. However, most of these models are designed to handle short univariate time series as an input. This limits their practical use, especially in domains such as healthcare with copious amounts of long and multivariate data with strong temporal and intra-variate dependencies. Our study bridges this gap by cataloging and systematically comparing various context expansion techniques from both language and time series domains, and introducing a novel compressive memory mechanism to allow encoder-only TSFMs to effectively model intra-variate dependencies. We demonstrate the benefits of our approach by imbuing MOMENT, a recent family of multi-task time series foundation models, with the multivariate context.
• Abstract（参考訳）: 時系列基礎モデルは、ゼロショットの設定であっても、幅広い領域にわたる様々なタスクにおいて印象的なパフォーマンスを示している。 しかし、これらのモデルのほとんどは短い単変量時系列を入力として扱うように設計されている。 これは、特に、時間的および変数内依存関係の強い長い多変量データを扱う医療のような分野において、実用的使用を制限する。 本研究は,言語ドメインと時系列ドメインの両方から,様々なコンテキスト拡張手法をカタログ化し,体系的に比較し,エンコーダのみのTSFMが変数間の依存性を効果的にモデル化できるようにするための,新しい圧縮メモリ機構を導入することで,このギャップを埋めるものである。 我々は,近年のマルチタスク時系列基盤モデルであるMOMENTを多変量文脈で導入することで,このアプローチの利点を実証する。

関連論文リスト

• Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series [3.9599054392856483]
  時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。 我々は、既存の単変量時系列基礎モデルに適応できる、素早いチューニングインスパイアされた微調整技術Gen-P-Tuningを提案する。 2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-19T19:20:58Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  一般時系列解析のためのオープンモデルであるOTiSを紹介する。 本稿では,学習可能なドメイン固有シグネチャを持つトークンマイザを含む,新しい事前学習パラダイムを提案する。 我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Forecasting large collections of time series: feature-based methods [7.353918137830393]
  時系列の膨大なコレクションを予測する場合,時系列特徴量を用いて2行のアプローチが開発されている。 この章では、オープンソースのソフトウェア実装を参照しながら、最先端の機能ベースのメソッドについて論じます。
  論文  参考訳（メタデータ） (2023-09-25T01:23:02Z)
• SageFormer: Series-Aware Framework for Long-term Multivariate Time Series Forecasting [16.395374003276817]
  本稿では,シリーズ間の依存関係の重要性を強調するために,新たなシリーズアウェアフレームワークを提案する。 グラフ強化トランスフォーマーモデルとして、SageFormerはグラフ構造を用いて、シリーズ間の複雑な関係を巧みに識別し、モデル化する。 特に、シリーズ対応フレームワークは既存のTransformerベースのモデルとシームレスに統合され、シリーズ間の関係を理解する能力が強化されている。
  論文  参考訳（メタデータ） (2023-07-04T10:08:25Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Instance-wise Graph-based Framework for Multivariate Time Series Forecasting [69.38716332931986]
  我々は,異なる時刻スタンプにおける変数の相互依存性を利用するための,シンプルで効率的なインスタンス単位のグラフベースのフレームワークを提案する。 私たちのフレームワークのキーとなる考え方は、異なる変数の履歴時系列から予測すべき現在の時系列に情報を集約することです。
  論文  参考訳（メタデータ） (2021-09-14T07:38:35Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。