論文の概要: One Fits All: Universal Time Series Analysis by Pretrained LM and
Specially Designed Adaptors
- arxiv url: http://arxiv.org/abs/2311.14782v1
- Date: Fri, 24 Nov 2023 16:32:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 09:28:47.792290
- Title: One Fits All: Universal Time Series Analysis by Pretrained LM and
Specially Designed Adaptors
- Title（参考訳）: 一つ:事前学習型LMと特殊設計型アダプタによる時系列解析
- Authors: Tian Zhou, Peisong Niu, Xue Wang, Liang Sun, Rong Jin
- Abstract要約: 事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを紹介する。
これらのアダプタは、効率的なパラメータチューニングによってさらに拡張され、すべての最先端手法よりも優れた性能が得られる。
- 参考スコア（独自算出の注目度）: 23.292260325891032
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the impressive achievements of pre-trained models in the fields of
natural language processing (NLP) and computer vision (CV), progress in the
domain of time series analysis has been limited. In contrast to NLP and CV,
where a single model can handle various tasks, time series analysis still
relies heavily on task-specific methods for activities such as classification,
anomaly detection, forecasting, and few-shot learning. The primary obstacle to
developing a pre-trained model for time series analysis is the scarcity of
sufficient training data. In our research, we overcome this obstacle by
utilizing pre-trained models from language or CV, which have been trained on
billions of data points, and apply them to time series analysis. We assess the
effectiveness of the pre-trained transformer model in two ways. Initially, we
maintain the original structure of the self-attention and feedforward layers in
the residual blocks of the pre-trained language or image model, using the
Frozen Pre-trained Transformer (FPT) for time series analysis with the addition
of projection matrices for input and output. Additionally, we introduce four
unique adapters, designed specifically for downstream tasks based on the
pre-trained model, including forecasting and anomaly detection. These adapters
are further enhanced with efficient parameter tuning, resulting in superior
performance compared to all state-of-the-art methods.Our comprehensive
experimental studies reveal that (a) the simple FPT achieves top-tier
performance across various time series analysis tasks; and (b) fine-tuning the
FPT with the custom-designed adapters can further elevate its performance,
outshining specialized task-specific models.
- Abstract（参考訳）: 自然言語処理(nlp)とコンピュータビジョン(cv)の分野における事前学習モデルの素晴らしい成果にもかかわらず、時系列分析の分野における進歩は限られている。
単一のモデルで様々なタスクを処理できるNLPやCVとは対照的に、時系列解析は依然として分類、異常検出、予測、少数ショット学習などのタスク固有の手法に大きく依存している。
時系列解析のための事前学習モデルを開発する上での大きな障害は、十分なトレーニングデータの不足である。
本研究では,何十億ものデータポイントを学習した言語やCVから事前学習したモデルを時系列解析に適用することにより,この障害を克服する。
事前学習した変圧器モデルの有効性を2つの方法で評価する。
まず,事前学習言語や画像モデルの残留ブロックにおける自己注意層とフィードフォワード層の原構造を,入力および出力に投影行列を追加することで時系列解析にFrozen Pre-trained Transformer (FPT) を用いて維持する。
さらに,予測や異常検出を含む事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを導入する。
これらのアダプタは、効率的なパラメータチューニングによりさらに強化され、すべての最先端手法と比較して性能が向上する。
(a)単純なFPTは、様々な時系列分析タスクにおいてトップレベルのパフォーマンスを達成する。
b) カスタム設計のアダプタでFPTを微調整することで、その性能をさらに高め、特殊なタスク固有モデルより優れている。
関連論文リスト
- TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。
TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。
実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-02-17T04:17:27Z) - Context information can be more important than reasoning for time series forecasting with a large language model [0.0]
時系列予測のための大規模言語モデル(LLM)の特性について検討する。
発見は、単一のプロンプト法が普遍的に適用できないことを示している。
LLMは、しばしばプロンプトによって記述された手順に従わない。
論文 参考訳（メタデータ） (2025-02-08T21:39:07Z) - Time-VLM: Exploring Multimodal Vision-Language Models for Augmented Time Series Forecasting [26.4608782425897]
Time-VLMは、時間的、視覚的、テキスト的なモダリティを橋渡しして予測を強化する新しいフレームワークである。
本フレームワークは,(1)記憶バンク相互作用を通じて時間的特徴を抽出する検索型学習者,(2)時系列を情報的画像としてエンコードするビジョン型学習者,(3)文脈的テキスト記述を生成するテキスト型学習者,の3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-02-06T05:59:45Z) - Position: Empowering Time Series Reasoning with Multimodal LLMs [49.73647759532127]
マルチモーダル言語モデル (MLLM) は時系列解析においてより強力で柔軟な推論を可能にすると論じる。
我々は、MLLMにおける信頼、解釈可能性、堅牢な推論を優先する戦略を開発することで、この可能性を活用するよう研究者や実践者に呼びかける。
論文 参考訳（メタデータ） (2025-02-03T16:10:48Z) - Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning [1.7892194562398749]
本稿では, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time Series forecasting via Large Language Modelsを提案する。
まず、時系列互換テキストプロトタイプを作成し、各テキストプロトタイプは、その近傍に単語トークンを埋め込んだり、時系列の特徴を表現したりする。
次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。
論文 参考訳（メタデータ） (2024-12-06T06:32:47Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Is Your LLM Outdated? Evaluating LLMs at Temporal Generalization [37.58752947129519]
LLM(Large Language Models)の急速な進歩は、評価方法論の進化に対する緊急の必要性を浮き彫りにしている。
しばしば静的な従来のベンチマークでは、絶えず変化する情報ランドスケープをキャプチャできない。
本研究では,過去,現在,未来に関連するテキストを理解し,予測し,生成する能力を含む時間的一般化について検討する。
論文 参考訳（メタデータ） (2024-05-14T09:31:31Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。
近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。
本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文 参考訳（メタデータ） (2024-02-16T17:15:28Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。
時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。
AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文 参考訳（メタデータ） (2024-02-04T06:59:21Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。