論文の概要: Towards Generalisable Time Series Understanding Across Domains

• arxiv url: http://arxiv.org/abs/2410.07299v1
• Date: Wed, 9 Oct 2024 17:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:06:44.108337
• Title: Towards Generalisable Time Series Understanding Across Domains
• Title（参考訳）: ドメイン間の一般的な時系列理解を目指して
• Authors: Özgün Turgut, Philip Müller, Martin J. Menten, Daniel Rueckert,
• Abstract要約: 一般時系列解析のためのオープンモデルであるOTiSを紹介する。 本稿では,学習可能なドメイン固有シグネチャを持つトークンマイザを含む,新しい事前学習パラダイムを提案する。 我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されている。
• 参考スコア（独自算出の注目度）: 10.350643783811174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In natural language processing and computer vision, self-supervised pre-training on large datasets unlocks foundational model capabilities across domains and tasks. However, this potential has not yet been realised in time series analysis, where existing methods disregard the heterogeneous nature of time series characteristics. Time series are prevalent in many domains, including medicine, engineering, natural sciences, and finance, but their characteristics vary significantly in terms of variate count, inter-variate relationships, temporal dynamics, and sampling frequency. This inherent heterogeneity across domains prevents effective pre-training on large time series corpora. To address this issue, we introduce OTiS, an open model for general time series analysis, that has been specifically designed to handle multi-domain heterogeneity. We propose a novel pre-training paradigm including a tokeniser with learnable domain-specific signatures, a dual masking strategy to capture temporal causality, and a normalised cross-correlation loss to model long-range dependencies. Our model is pre-trained on a large corpus of 640,187 samples and 11 billion time points spanning 8 distinct domains, enabling it to analyse time series from any (unseen) domain. In comprehensive experiments across 15 diverse applications - including classification, regression, and forecasting - OTiS showcases its ability to accurately capture domain-specific data characteristics and demonstrates its competitiveness against state-of-the-art baselines. Our code and pre-trained weights are publicly available at https://github.com/oetu/otis.
• Abstract（参考訳）: 自然言語処理とコンピュータビジョンでは、大規模なデータセットでの自己教師付き事前トレーニングにより、ドメインとタスクをまたいだ基礎モデル機能が解放される。 しかし、このポテンシャルはまだ時系列解析において実現されておらず、既存の手法は時系列特性の不均一性を無視している。 時系列は、医学、工学、自然科学、金融など多くの領域で広く使われているが、その特徴は、変動数、変量関係、時間力学、サンプリング頻度の点で大きく異なる。 このドメイン間の固有の不均一性は、大きな時系列コーパスでの効果的な事前学習を妨げている。 この問題に対処するために,多領域不均一性を扱うように設計された一般時系列解析のためのオープンモデルであるOTiSを紹介する。 本稿では,学習可能なドメイン固有のシグネチャを持つトークンソーダ,時間的因果関係を捉えるための二重マスキング戦略,長距離依存性をモデル化するための正規化相互相関損失を含む,新しい事前学習パラダイムを提案する。 我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されており、任意の(目に見えない)ドメインから時系列を分析することができる。 分類、回帰、予測を含む15の多様なアプリケーションにわたる総合的な実験において、OTiSはドメイン固有のデータ特性を正確にキャプチャする能力を示し、最先端のベースラインに対する競争力を示している。 私たちのコードと事前トレーニングされたウェイトはhttps://github.com/oetu/otis.comで公開されています。

関連論文リスト

• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
  textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T07:59:02Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Time Series Analysis via Network Science: Concepts and Algorithms [62.997667081978825]
  本稿では,時系列をネットワークに変換する既存のマッピング手法について概観する。 我々は、主要な概念的アプローチを説明し、権威的な参照を提供し、統一された表記法と言語におけるそれらの利点と限界について洞察を与える。 ごく最近の研究だが、この研究領域には大きな可能性を秘めており、今後の研究の道を開くことを目的としている。
  論文  参考訳（メタデータ） (2021-10-11T13:33:18Z)
• Cross-domain Time Series Forecasting with Attention Sharing [10.180248006928107]
  本稿では,データ不足問題に対処する新しいドメイン適応フレームワークであるDomain Adaptation Forecaster(DAF)を提案する。 特に、ドメイン間のドメイン識別器と、個々のドメインに対するプリベートモジュールを備えたアテンションベースの共有モジュールを提案する。 これにより、ドメイン固有の機能をトレーニングしながら、ドメイン不変の潜在機能を生成させることで、ソースとターゲットドメインを共同でトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-02-13T00:26:35Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。