論文の概要: Unleash The Power of Pre-Trained Language Models for Irregularly Sampled Time Series

• arxiv url: http://arxiv.org/abs/2408.08328v1
• Date: Mon, 12 Aug 2024 14:22:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:39:31.738651
• Title: Unleash The Power of Pre-Trained Language Models for Irregularly Sampled Time Series
• Title（参考訳）: 不規則にサンプリングされた時系列のための事前学習言語モデルのパワーを解き放つ
• Authors: Weijia Zhang, Chenlong Yin, Hao Liu, Hui Xiong,
• Abstract要約: 本研究は, ISTS 解析における PLM の可能性を探るものである。 本稿では、時間認識と変数認識のPLMを統合した統合PLMベースのフレームワークISTS-PLMについて述べる。
• 参考スコア（独自算出の注目度）: 22.87452807636833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Language Models (PLMs), such as ChatGPT, have significantly advanced the field of natural language processing. This progress has inspired a series of innovative studies that explore the adaptation of PLMs to time series analysis, intending to create a unified foundation model that addresses various time series analytical tasks. However, these efforts predominantly focus on Regularly Sampled Time Series (RSTS), neglecting the unique challenges posed by Irregularly Sampled Time Series (ISTS), which are characterized by non-uniform sampling intervals and prevalent missing data. To bridge this gap, this work explores the potential of PLMs for ISTS analysis. We begin by investigating the effect of various methods for representing ISTS, aiming to maximize the efficacy of PLMs in this under-explored area. Furthermore, we present a unified PLM-based framework, ISTS-PLM, which integrates time-aware and variable-aware PLMs tailored for comprehensive intra and inter-time series modeling and includes a learnable input embedding layer and a task-specific output layer to tackle diverse ISTS analytical tasks. Extensive experiments on a comprehensive benchmark demonstrate that the ISTS-PLM, utilizing a simple yet effective series-based representation for ISTS, consistently achieves state-of-the-art performance across various analytical tasks, such as classification, interpolation, and extrapolation, as well as few-shot and zero-shot learning scenarios, spanning scientific domains like healthcare and biomechanics.
• Abstract（参考訳）: ChatGPTのような事前学習型言語モデル(PLM)は、自然言語処理の分野を著しく進歩させてきた。 この進歩は、時系列解析へのPLMの適応を探求する一連の革新的な研究にインスピレーションを与え、様々な時系列解析タスクに対処する統一された基礎モデルを作成することを目的としている。 しかしながら、これらの取り組みは、不規則サンプリング時系列(ISTS)がもたらす固有の課題を無視し、通常サンプリング時系列(RSTS)に重点を置いている。 このギャップを埋めるために、ISTS分析のためのPLMの可能性を探る。 本研究は, 実験対象地域におけるPLMの有効性を最大化することを目的として, ISTS を表現するための様々な手法の効果について検討することから始める。 さらに、統合されたPLMベースのフレームワークであるISTS-PLMを提案する。このフレームワークは、タイムアウェアと可変アウェアのPLMを統合し、総合的なイントラタイムおよびイントラタイム・シリーズ・モデリングに適した、学習可能な入力埋め込み層とタスク固有の出力層を備えており、多様なISTS分析タスクに対処する。 包括的なベンチマークにおいて、ISTS-PLMは、シンプルだが効果的なシリーズベース表現を利用して、分類、補間、補間、補間といった様々な分析タスク、および医療やバイオメカニクスのような科学領域にまたがる少数ショットとゼロショットの学習シナリオなど、最先端のパフォーマンスを一貫して達成している。

関連論文リスト

• Revisited Large Language Model for Time Series Analysis through Modality Alignment [16.147350486106777]
  大規模言語モデルは、センサデータ分析のような多くの重要なWebアプリケーションにおいて、印象的なパフォーマンスを示している。 本研究では,予測,分類,計算,異常検出など,主要な時系列タスクにLLMを適用することの有効性を評価する。 この結果から,LLMはこれらのコア時系列タスクに対して最小限のアドバンテージを提供し,データの時間構造を歪めてしまう可能性があることがわかった。
  論文  参考訳（メタデータ） (2024-10-16T07:47:31Z)
• Transforming Multidimensional Time Series into Interpretable Event Sequences for Advanced Data Mining [5.2863523790908955]
  本稿では,多次元時系列解析における従来の手法の限界に対処する新しい表現モデルを提案する。 提案するフレームワークは,ITインフラの監視と最適化,継続的な患者モニタリングによる診断,トレンド分析,インターネットビジネスによるユーザ行動の追跡,予測など,さまざまな分野のアプリケーションに対して大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-09-22T06:27:07Z)
• Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
  不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。 本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
  論文  参考訳（メタデータ） (2024-06-20T07:09:19Z)
• TSI-Bench: Benchmarking Time Series Imputation [52.27004336123575]
  TSI-Benchは、ディープラーニング技術を利用した時系列計算のための総合ベンチマークスイートである。 TSI-Benchパイプラインは、実験的な設定を標準化し、計算アルゴリズムの公平な評価を可能にする。 TSI-Benchは、計算目的のために時系列予測アルゴリズムを調整するための体系的なパラダイムを革新的に提供する。
  論文  参考訳（メタデータ） (2024-06-18T16:07:33Z)
• Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
  本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。 具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。 次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
  論文  参考訳（メタデータ） (2024-02-05T16:46:35Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
  自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。 この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
  論文  参考訳（メタデータ） (2023-06-16T18:23:10Z)
• SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
  SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。 SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。 SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
  論文  参考訳（メタデータ） (2023-02-02T04:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。