論文の概要: One Fits All: Universal Time Series Analysis by Pretrained LM and
Specially Designed Adaptors
- arxiv url: http://arxiv.org/abs/2311.14782v1
- Date: Fri, 24 Nov 2023 16:32:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 09:28:47.792290
- Title: One Fits All: Universal Time Series Analysis by Pretrained LM and
Specially Designed Adaptors
- Title（参考訳）: 一つ:事前学習型LMと特殊設計型アダプタによる時系列解析
- Authors: Tian Zhou, Peisong Niu, Xue Wang, Liang Sun, Rong Jin
- Abstract要約: 事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを紹介する。
これらのアダプタは、効率的なパラメータチューニングによってさらに拡張され、すべての最先端手法よりも優れた性能が得られる。
- 参考スコア（独自算出の注目度）: 23.292260325891032
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the impressive achievements of pre-trained models in the fields of
natural language processing (NLP) and computer vision (CV), progress in the
domain of time series analysis has been limited. In contrast to NLP and CV,
where a single model can handle various tasks, time series analysis still
relies heavily on task-specific methods for activities such as classification,
anomaly detection, forecasting, and few-shot learning. The primary obstacle to
developing a pre-trained model for time series analysis is the scarcity of
sufficient training data. In our research, we overcome this obstacle by
utilizing pre-trained models from language or CV, which have been trained on
billions of data points, and apply them to time series analysis. We assess the
effectiveness of the pre-trained transformer model in two ways. Initially, we
maintain the original structure of the self-attention and feedforward layers in
the residual blocks of the pre-trained language or image model, using the
Frozen Pre-trained Transformer (FPT) for time series analysis with the addition
of projection matrices for input and output. Additionally, we introduce four
unique adapters, designed specifically for downstream tasks based on the
pre-trained model, including forecasting and anomaly detection. These adapters
are further enhanced with efficient parameter tuning, resulting in superior
performance compared to all state-of-the-art methods.Our comprehensive
experimental studies reveal that (a) the simple FPT achieves top-tier
performance across various time series analysis tasks; and (b) fine-tuning the
FPT with the custom-designed adapters can further elevate its performance,
outshining specialized task-specific models.
- Abstract（参考訳）: 自然言語処理(nlp)とコンピュータビジョン(cv)の分野における事前学習モデルの素晴らしい成果にもかかわらず、時系列分析の分野における進歩は限られている。
単一のモデルで様々なタスクを処理できるNLPやCVとは対照的に、時系列解析は依然として分類、異常検出、予測、少数ショット学習などのタスク固有の手法に大きく依存している。
時系列解析のための事前学習モデルを開発する上での大きな障害は、十分なトレーニングデータの不足である。
本研究では,何十億ものデータポイントを学習した言語やCVから事前学習したモデルを時系列解析に適用することにより,この障害を克服する。
事前学習した変圧器モデルの有効性を2つの方法で評価する。
まず,事前学習言語や画像モデルの残留ブロックにおける自己注意層とフィードフォワード層の原構造を,入力および出力に投影行列を追加することで時系列解析にFrozen Pre-trained Transformer (FPT) を用いて維持する。
さらに,予測や異常検出を含む事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを導入する。
これらのアダプタは、効率的なパラメータチューニングによりさらに強化され、すべての最先端手法と比較して性能が向上する。
(a)単純なFPTは、様々な時系列分析タスクにおいてトップレベルのパフォーマンスを達成する。
b) カスタム設計のアダプタでFPTを微調整することで、その性能をさらに高め、特殊なタスク固有モデルより優れている。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - From News to Forecast: Integrating Event Analysis in LLM-Based Time Series Forecasting with Reflection [16.47323362700347]
本稿では,テキストデータと時系列データの両方を解析することで時系列予測を強化する新しい手法を提案する。
言語を媒体として,社会イベントを予測モデルに適応的に統合し,ニュースコンテンツと時系列のゆらぎを一致させてより豊かな洞察を提供する。
具体的には、LSMをベースとしたエージェントを用いて、無関係なニュースを反復的にフィルタリングし、人間ライクな推論を用いて予測を評価する。
論文 参考訳（メタデータ） (2024-09-26T03:50:22Z) - Is Your LLM Outdated? Evaluating LLMs at Temporal Generalization [37.58752947129519]
LLM(Large Language Models)の急速な進歩は、評価方法論の進化に対する緊急の必要性を浮き彫りにしている。
しばしば静的な従来のベンチマークでは、絶えず変化する情報ランドスケープをキャプチャできない。
本研究では,過去,現在,未来に関連するテキストを理解し,予測し,生成する能力を含む時間的一般化について検討する。
論文 参考訳（メタデータ） (2024-05-14T09:31:31Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。
近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。
本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文 参考訳（メタデータ） (2024-02-16T17:15:28Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳（メタデータ） (2024-02-07T13:51:26Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。
時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。
AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文 参考訳（メタデータ） (2024-02-04T06:59:21Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳（メタデータ） (2023-12-15T15:46:02Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。