Fugu-MT 論文翻訳(概要): Toward a Foundation Model for Time Series Data

論文の概要: Toward a Foundation Model for Time Series Data

arxiv url: http://arxiv.org/abs/2310.03916v1
Date: Thu, 5 Oct 2023 21:44:50 GMT
ステータス: 処理完了
システム内更新日: 2023-10-10 06:12:18.877194
Title: Toward a Foundation Model for Time Series Data
Title（参考訳）: 時系列データの基礎モデルに向けて
Authors: Chin-Chia Michael Yeh, Xin Dai, Huiyuan Chen, Yan Zheng, Yujie Fan, Audrey Der, Vivian Lai, Zhongfang Zhuang, Junpeng Wang, Liang Wang, Wei Zhang
Abstract要約: 基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
参考スコア（独自算出の注目度）: 34.1973242428317
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A foundation model is a machine learning model trained on a large and diverse set of data, typically using self-supervised learning-based pre-training techniques, that can be adapted to various downstream tasks. However, current research on time series pre-training has mostly focused on models pre-trained solely on data from a single domain, resulting in a lack of knowledge about other types of time series. However, current research on time series pre-training has predominantly focused on models trained exclusively on data from a single domain. As a result, these models possess domain-specific knowledge that may not be easily transferable to time series from other domains. In this paper, we aim to develop an effective time series foundation model by leveraging unlabeled samples from multiple domains. To achieve this, we repurposed the publicly available UCR Archive and evaluated four existing self-supervised learning-based pre-training methods, along with a novel method, on the datasets. We tested these methods using four popular neural network architectures for time series to understand how the pre-training methods interact with different network designs. Our experimental results show that pre-training improves downstream classification tasks by enhancing the convergence of the fine-tuning process. Furthermore, we found that the proposed pre-training method, when combined with the Transformer model, outperforms the alternatives.
Abstract（参考訳）: ファンデーションモデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルであり、一般的には、さまざまな下流タスクに適応可能な、自己教師付き学習ベースの事前学習技術を使用する。しかしながら、現在の時系列事前トレーニングの研究は、主に単一のドメインのデータのみに基づいて事前トレーニングされたモデルに重点を置いているため、他のタイプの時系列に関する知識が不足している。しかしながら、時系列事前学習に関する現在の研究は、主に単一のドメインのデータにのみ訓練されたモデルに焦点を当てている。その結果、これらのモデルはドメイン固有の知識を持ち、他のドメインから時系列に簡単に転送できない。本稿では,複数の領域からラベルなしサンプルを活用し,効率的な時系列基礎モデルの構築を目指す。そこで本研究では,公開したudrアーカイブを再利用し,既存の自己教師あり学習に基づく事前学習手法4つと新しい手法をデータセット上で評価した。これらの手法を4つのニューラルネットワークアーキテクチャを用いて時系列で検証し、事前学習手法が異なるネットワーク設計とどのように相互作用するかを理解する。実験結果から, 微調整プロセスの収束性を高めることにより, 事前学習が下流分類タスクを改善することが示された。さらに,提案手法をTransformerモデルと組み合わせた場合,提案手法が提案手法よりも優れていることがわかった。

関連論文リスト

Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
論文参考訳（メタデータ） (2024-11-14T23:56:57Z)
Chronos: Learning the Language of Time Series [79.38691251254173]
Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
論文参考訳（メタデータ） (2024-03-12T16:53:54Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
論文参考訳（メタデータ） (2023-11-19T20:16:16Z)
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-12T12:29:32Z)
Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
論文参考訳（メタデータ） (2023-10-08T08:09:51Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文参考訳（メタデータ） (2023-02-20T22:25:47Z)
ADATIME: A Benchmarking Suite for Domain Adaptation on Time Series Data [20.34427953468868]
教師なしドメイン適応手法は、トレーニングデータとは異なる分布を持つ可能性のあるラベルなしテストデータに基づいて、うまく一般化することを目的としている。時系列ドメイン適応に関する既存の研究は、評価スキーム、データセット、バックボーンニューラルネットワークアーキテクチャの矛盾に悩まされている。時系列データ上で異なるドメイン適応手法を体系的かつ適切に評価するベンチマーク評価スイート(AdaTime)を開発した。
論文参考訳（メタデータ） (2022-03-15T23:55:05Z)
Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation [7.38079566297881]
GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
論文参考訳（メタデータ） (2020-08-06T13:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。