Fugu-MT 論文翻訳(概要): Towards Generalisable Time Series Understanding Across Domains

論文の概要: Towards Generalisable Time Series Understanding Across Domains

arxiv url: http://arxiv.org/abs/2410.07299v1
Date: Wed, 9 Oct 2024 17:09:30 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 21:06:44.108337
Title: Towards Generalisable Time Series Understanding Across Domains
Title（参考訳）: ドメイン間の一般的な時系列理解を目指して
Authors: Özgün Turgut, Philip Müller, Martin J. Menten, Daniel Rueckert,
Abstract要約: 一般時系列解析のためのオープンモデルであるOTiSを紹介する。本稿では,学習可能なドメイン固有シグネチャを持つトークンマイザを含む,新しい事前学習パラダイムを提案する。我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されている。
参考スコア（独自算出の注目度）: 10.350643783811174
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In natural language processing and computer vision, self-supervised pre-training on large datasets unlocks foundational model capabilities across domains and tasks. However, this potential has not yet been realised in time series analysis, where existing methods disregard the heterogeneous nature of time series characteristics. Time series are prevalent in many domains, including medicine, engineering, natural sciences, and finance, but their characteristics vary significantly in terms of variate count, inter-variate relationships, temporal dynamics, and sampling frequency. This inherent heterogeneity across domains prevents effective pre-training on large time series corpora. To address this issue, we introduce OTiS, an open model for general time series analysis, that has been specifically designed to handle multi-domain heterogeneity. We propose a novel pre-training paradigm including a tokeniser with learnable domain-specific signatures, a dual masking strategy to capture temporal causality, and a normalised cross-correlation loss to model long-range dependencies. Our model is pre-trained on a large corpus of 640,187 samples and 11 billion time points spanning 8 distinct domains, enabling it to analyse time series from any (unseen) domain. In comprehensive experiments across 15 diverse applications - including classification, regression, and forecasting - OTiS showcases its ability to accurately capture domain-specific data characteristics and demonstrates its competitiveness against state-of-the-art baselines. Our code and pre-trained weights are publicly available at https://github.com/oetu/otis.
Abstract（参考訳）: 自然言語処理とコンピュータビジョンでは、大規模なデータセットでの自己教師付き事前トレーニングにより、ドメインとタスクをまたいだ基礎モデル機能が解放される。しかし、このポテンシャルはまだ時系列解析において実現されておらず、既存の手法は時系列特性の不均一性を無視している。時系列は、医学、工学、自然科学、金融など多くの領域で広く使われているが、その特徴は、変動数、変量関係、時間力学、サンプリング頻度の点で大きく異なる。このドメイン間の固有の不均一性は、大きな時系列コーパスでの効果的な事前学習を妨げている。この問題に対処するために,多領域不均一性を扱うように設計された一般時系列解析のためのオープンモデルであるOTiSを紹介する。本稿では,学習可能なドメイン固有のシグネチャを持つトークンソーダ,時間的因果関係を捉えるための二重マスキング戦略,長距離依存性をモデル化するための正規化相互相関損失を含む,新しい事前学習パラダイムを提案する。我々のモデルは、8つの異なるドメインにまたがる640,187個のサンプルと11億個のタイムポイントからなる大規模なコーパスで事前訓練されており、任意の(目に見えない)ドメインから時系列を分析することができる。分類、回帰、予測を含む15の多様なアプリケーションにわたる総合的な実験において、OTiSはドメイン固有のデータ特性を正確にキャプチャする能力を示し、最先端のベースラインに対する競争力を示している。私たちのコードと事前トレーニングされたウェイトはhttps://github.com/oetu/otis.comで公開されています。

関連論文リスト

Federated Foundation Models on Heterogeneous Time Series [36.229082478423585]
主な目的は、Transformerアーキテクチャ上でモデルをトレーニングするためのトークンとして共有サブシーケンスを抽出するために、ドメイン間の時系列データセットを融合することである。本稿では,時系列基礎モデルトレーニング(FFTS)における不均一性に対処する新しいフェデレーション学習手法を提案する。新たに学習された時系列基礎モデルは、予測、計算、異常検出を含むクロスドメイン時系列解析タスクにおいて優れた一般化能力を達成する。
論文参考訳（メタデータ） (2024-12-12T03:38:01Z)
UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文参考訳（メタデータ） (2024-05-17T07:47:11Z)
Cross-Domain Pre-training with Language Models for Transferable Time Series Representations [32.8353465232791]
CrossTimeNetは、さまざまなドメインから転送可能な知識を学ぶための、新しいクロスドメインSSL学習フレームワークである。 CrossTimeNetの重要な特徴の1つは、新しく設計された時系列トークン化モジュールである。我々は、様々な時系列分類領域にわたる実世界のシナリオにおいて広範な実験を行う。
論文参考訳（メタデータ） (2024-03-19T02:32:47Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文参考訳（メタデータ） (2024-02-04T13:10:51Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
Large Pre-trained Time-Series Models (LPTM) は、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する適応セグメンテーションの新しい手法である。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。
論文参考訳（メタデータ） (2023-11-19T20:16:16Z)
UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文参考訳（メタデータ） (2023-10-15T06:30:22Z)
TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-02T16:45:19Z)
Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文参考訳（メタデータ） (2023-01-21T03:20:23Z)
Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。