論文の概要: One Fits All: Universal Time Series Analysis by Pretrained LM and
Specially Designed Adaptors
- arxiv url: http://arxiv.org/abs/2311.14782v1
- Date: Fri, 24 Nov 2023 16:32:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 09:28:47.792290
- Title: One Fits All: Universal Time Series Analysis by Pretrained LM and
Specially Designed Adaptors
- Title(参考訳): 一つ:事前学習型LMと特殊設計型アダプタによる時系列解析
- Authors: Tian Zhou, Peisong Niu, Xue Wang, Liang Sun, Rong Jin
- Abstract要約: 事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを紹介する。
これらのアダプタは、効率的なパラメータチューニングによってさらに拡張され、すべての最先端手法よりも優れた性能が得られる。
- 参考スコア(独自算出の注目度): 23.292260325891032
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the impressive achievements of pre-trained models in the fields of
natural language processing (NLP) and computer vision (CV), progress in the
domain of time series analysis has been limited. In contrast to NLP and CV,
where a single model can handle various tasks, time series analysis still
relies heavily on task-specific methods for activities such as classification,
anomaly detection, forecasting, and few-shot learning. The primary obstacle to
developing a pre-trained model for time series analysis is the scarcity of
sufficient training data. In our research, we overcome this obstacle by
utilizing pre-trained models from language or CV, which have been trained on
billions of data points, and apply them to time series analysis. We assess the
effectiveness of the pre-trained transformer model in two ways. Initially, we
maintain the original structure of the self-attention and feedforward layers in
the residual blocks of the pre-trained language or image model, using the
Frozen Pre-trained Transformer (FPT) for time series analysis with the addition
of projection matrices for input and output. Additionally, we introduce four
unique adapters, designed specifically for downstream tasks based on the
pre-trained model, including forecasting and anomaly detection. These adapters
are further enhanced with efficient parameter tuning, resulting in superior
performance compared to all state-of-the-art methods.Our comprehensive
experimental studies reveal that (a) the simple FPT achieves top-tier
performance across various time series analysis tasks; and (b) fine-tuning the
FPT with the custom-designed adapters can further elevate its performance,
outshining specialized task-specific models.
- Abstract(参考訳): 自然言語処理(nlp)とコンピュータビジョン(cv)の分野における事前学習モデルの素晴らしい成果にもかかわらず、時系列分析の分野における進歩は限られている。
単一のモデルで様々なタスクを処理できるNLPやCVとは対照的に、時系列解析は依然として分類、異常検出、予測、少数ショット学習などのタスク固有の手法に大きく依存している。
時系列解析のための事前学習モデルを開発する上での大きな障害は、十分なトレーニングデータの不足である。
本研究では,何十億ものデータポイントを学習した言語やCVから事前学習したモデルを時系列解析に適用することにより,この障害を克服する。
事前学習した変圧器モデルの有効性を2つの方法で評価する。
まず,事前学習言語や画像モデルの残留ブロックにおける自己注意層とフィードフォワード層の原構造を,入力および出力に投影行列を追加することで時系列解析にFrozen Pre-trained Transformer (FPT) を用いて維持する。
さらに,予測や異常検出を含む事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを導入する。
これらのアダプタは、効率的なパラメータチューニングによりさらに強化され、すべての最先端手法と比較して性能が向上する。
(a)単純なFPTは、様々な時系列分析タスクにおいてトップレベルのパフォーマンスを達成する。
b) カスタム設計のアダプタでFPTを微調整することで、その性能をさらに高め、特殊なタスク固有モデルより優れている。
関連論文リスト
- Generative Pretrained Hierarchical Transformer for Time Series
Forecasting [4.012001172505646]
本稿ではGPHTと呼ばれる予測のための新しい生成事前学習型階層型トランスフォーマアーキテクチャを提案する。
一方、我々は、様々なデータシナリオから様々なデータセットから構成される、モデルを事前訓練するための混合データセットの構築を提唱する。
一方、GPHTはチャネルに依存しない仮定の下で自己回帰予測手法を採用し、出力系列における時間的依存関係を効果的にモデル化する。
論文 参考訳(メタデータ) (2024-02-26T11:54:54Z) - Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Large Pre-trained time series models for cross-domain Time series
analysis tasks [23.897701882327972]
本稿では,事前学習中に最適なデータセット特定セグメンテーション戦略を自動的に識別する新しいモデルLPTMを提案する。
LPTMは、ドメイン固有の最先端モデルと同等かそれ以上のパフォーマンスを提供し、データよりもはるかに多く、最大40%のデータを取り込み、50%のトレーニング時間を効率よく処理する。
論文 参考訳(メタデータ) (2023-11-19T20:16:16Z) - How Many Pretraining Tasks Are Needed for In-Context Learning of Linear
Regression? [98.44739214880573]
様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。
線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
論文 参考訳(メタデータ) (2023-10-12T15:01:43Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳(メタデータ) (2023-10-05T21:44:50Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - One Fits All:Power General Time Series Analysis by Pretrained LM [23.292260325891032]
自然言語や画像の事前学習モデルでは,すべてのメイン時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることを示す。
この結果から,自然言語や画像を用いた事前学習モデルでは,すべての時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2023-02-23T11:37:39Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-04-11T18:31:53Z) - Pretrained Transformers as Universal Computation Engines [105.00539596788127]
自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。
本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。
このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
論文 参考訳(メタデータ) (2021-03-09T06:39:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。