論文の概要: One Fits All: Universal Time Series Analysis by Pretrained LM and Specially Designed Adaptors

• arxiv url: http://arxiv.org/abs/2311.14782v1
• Date: Fri, 24 Nov 2023 16:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-11-30 09:28:47.792290
• Title: One Fits All: Universal Time Series Analysis by Pretrained LM and Specially Designed Adaptors
• Title（参考訳）: 一つ:事前学習型LMと特殊設計型アダプタによる時系列解析
• Authors: Tian Zhou, Peisong Niu, Xue Wang, Liang Sun, Rong Jin
• Abstract要約: 事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを紹介する。 これらのアダプタは、効率的なパラメータチューニングによってさらに拡張され、すべての最先端手法よりも優れた性能が得られる。
• 参考スコア（独自算出の注目度）: 23.292260325891032
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the impressive achievements of pre-trained models in the fields of natural language processing (NLP) and computer vision (CV), progress in the domain of time series analysis has been limited. In contrast to NLP and CV, where a single model can handle various tasks, time series analysis still relies heavily on task-specific methods for activities such as classification, anomaly detection, forecasting, and few-shot learning. The primary obstacle to developing a pre-trained model for time series analysis is the scarcity of sufficient training data. In our research, we overcome this obstacle by utilizing pre-trained models from language or CV, which have been trained on billions of data points, and apply them to time series analysis. We assess the effectiveness of the pre-trained transformer model in two ways. Initially, we maintain the original structure of the self-attention and feedforward layers in the residual blocks of the pre-trained language or image model, using the Frozen Pre-trained Transformer (FPT) for time series analysis with the addition of projection matrices for input and output. Additionally, we introduce four unique adapters, designed specifically for downstream tasks based on the pre-trained model, including forecasting and anomaly detection. These adapters are further enhanced with efficient parameter tuning, resulting in superior performance compared to all state-of-the-art methods.Our comprehensive experimental studies reveal that (a) the simple FPT achieves top-tier performance across various time series analysis tasks; and (b) fine-tuning the FPT with the custom-designed adapters can further elevate its performance, outshining specialized task-specific models.
• Abstract（参考訳）: 自然言語処理(nlp)とコンピュータビジョン(cv)の分野における事前学習モデルの素晴らしい成果にもかかわらず、時系列分析の分野における進歩は限られている。 単一のモデルで様々なタスクを処理できるNLPやCVとは対照的に、時系列解析は依然として分類、異常検出、予測、少数ショット学習などのタスク固有の手法に大きく依存している。 時系列解析のための事前学習モデルを開発する上での大きな障害は、十分なトレーニングデータの不足である。 本研究では,何十億ものデータポイントを学習した言語やCVから事前学習したモデルを時系列解析に適用することにより,この障害を克服する。 事前学習した変圧器モデルの有効性を2つの方法で評価する。 まず,事前学習言語や画像モデルの残留ブロックにおける自己注意層とフィードフォワード層の原構造を,入力および出力に投影行列を追加することで時系列解析にFrozen Pre-trained Transformer (FPT) を用いて維持する。 さらに,予測や異常検出を含む事前学習モデルに基づく下流タスクに特化して設計された4つのユニークなアダプタを導入する。 これらのアダプタは、効率的なパラメータチューニングによりさらに強化され、すべての最先端手法と比較して性能が向上する。 (a)単純なFPTは、様々な時系列分析タスクにおいてトップレベルのパフォーマンスを達成する。 b) カスタム設計のアダプタでFPTを微調整することで、その性能をさらに高め、特殊なタスク固有モデルより優れている。

関連論文リスト

• Exploring the Effectiveness and Interpretability of Texts in LLM-based Time Series Models [5.2980803808373516]
  大規模言語モデル(LLM)は、トレーニング済みの言語モデルをバックボーンとして活用し、時系列予測タスクに適用されている。 本研究は,このような文章の具体化の実際の有効性と解釈可能性について検討する。
  論文  参考訳（メタデータ） (2025-04-09T02:48:35Z)
• LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
  Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。 既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。 時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
  論文  参考訳（メタデータ） (2025-03-12T11:45:11Z)
• Explainable Multi-modal Time Series Prediction with LLM-in-the-Loop [63.34626300024294]
  TimeXLはプロトタイプベースの時系列エンコーダを統合するマルチモーダル予測フレームワークである。 より正確な予測と解釈可能な説明を生成する。 4つの実世界のデータセットに対する実証的な評価は、TimeXLがAUCで最大8.9%の改善を達成していることを示している。
  論文  参考訳（メタデータ） (2025-03-02T20:40:53Z)
• Context information can be more important than reasoning for time series forecasting with a large language model [0.0]
  時系列予測のための大規模言語モデル(LLM)の特性について検討する。 発見は、単一のプロンプト法が普遍的に適用できないことを示している。 LLMは、しばしばプロンプトによって記述された手順に従わない。
  論文  参考訳（メタデータ） (2025-02-08T21:39:07Z)
• Position: Empowering Time Series Reasoning with Multimodal LLMs [49.73647759532127]
  マルチモーダル言語モデル (MLLM) は時系列解析においてより強力で柔軟な推論を可能にすると論じる。 我々は、MLLMにおける信頼、解釈可能性、堅牢な推論を優先する戦略を開発することで、この可能性を活用するよう研究者や実践者に呼びかける。
  論文  参考訳（メタデータ） (2025-02-03T16:10:48Z)
• Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning [1.7892194562398749]
  本稿では, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time Series forecasting via Large Language Modelsを提案する。 まず、時系列互換テキストプロトタイプを作成し、各テキストプロトタイプは、その近傍に単語トークンを埋め込んだり、時系列の特徴を表現したりする。 次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。
  論文  参考訳（メタデータ） (2024-12-06T06:32:47Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• From News to Forecast: Integrating Event Analysis in LLM-Based Time Series Forecasting with Reflection [16.47323362700347]
  本稿では,テキストデータと時系列データの両方を解析することで時系列予測を強化する新しい手法を提案する。 言語を媒体として,社会イベントを予測モデルに適応的に統合し,ニュースコンテンツと時系列のゆらぎを一致させてより豊かな洞察を提供する。 具体的には、LSMをベースとしたエージェントを用いて、無関係なニュースを反復的にフィルタリングし、人間ライクな推論を用いて予測を評価する。
  論文  参考訳（メタデータ） (2024-09-26T03:50:22Z)
• Is Your LLM Outdated? Evaluating LLMs at Temporal Generalization [37.58752947129519]
  LLM(Large Language Models)の急速な進歩は、評価方法論の進化に対する緊急の必要性を浮き彫りにしている。 しばしば静的な従来のベンチマークでは、絶えず変化する情報ランドスケープをキャプチャできない。 本研究では,過去,現在,未来に関連するテキストを理解し,予測し,生成する能力を含む時間的一般化について検討する。
  論文  参考訳（メタデータ） (2024-05-14T09:31:31Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
  大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。 近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。 本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
  論文  参考訳（メタデータ） (2024-02-16T17:15:28Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。