論文の概要: LLM-ABBA: Understand time series via symbolic approximation

• arxiv url: http://arxiv.org/abs/2411.18506v1
• Date: Wed, 27 Nov 2024 16:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:58.631128
• Title: LLM-ABBA: Understand time series via symbolic approximation
• Title（参考訳）: LLM-ABBA:記号近似による時系列の理解
• Authors: Erin Carson, Xinye Chen, Cheng Kang,
• Abstract要約: 我々は,様々なダウンストリーム時系列タスクに対して,ABBAを大規模言語モデルに統合するLLM-ABBAという手法を提案する。 LLM-ABBAは、時系列を象徴することにより、最近のUCRにおける最先端(SOTA)と3つの医療時系列分類タスクとを良好に比較する。
• 参考スコア（独自算出の注目度）: 0.28675177318965045
• License:
• Abstract: The success of large language models (LLMs) for time series has been demonstrated in previous work. Utilizing a symbolic time series representation, one can efficiently bridge the gap between LLMs and time series. However, the remaining challenge is to exploit the semantic information hidden in time series by using symbols or existing tokens of LLMs, while aligning the embedding space of LLMs according to the hidden information of time series. The symbolic time series approximation (STSA) method called adaptive Brownian bridge-based symbolic aggregation (ABBA) shows outstanding efficacy in preserving salient time series features by modeling time series patterns in terms of amplitude and period while using existing tokens of LLMs. In this paper, we introduce a method, called LLM-ABBA, that integrates ABBA into large language models for various downstream time series tasks. By symbolizing time series, LLM-ABBA compares favorably to the recent state-of-the-art (SOTA) in UCR and three medical time series classification tasks. Meanwhile, a fixed-polygonal chain trick in ABBA is introduced to \kc{avoid obvious drifting} during prediction tasks by significantly mitigating the effects of cumulative error arising from misused symbols during the transition from symbols to numerical values. In time series regression tasks, LLM-ABBA achieves the new SOTA on Time Series Extrinsic Regression (TSER) benchmarks. LLM-ABBA also shows competitive prediction capability compared to recent SOTA time series prediction results. We believe this framework can also seamlessly extend to other time series tasks.
• Abstract（参考訳）: 時系列における大規模言語モデル(LLM)の成功は、これまでの研究で実証されてきた。 記号的時系列表現を利用することで、LLMと時系列のギャップを効率的に埋めることができる。 しかし、残りの課題は、LCMのシンボルや既存のトークンを用いて時系列に隠された意味情報を利用し、時系列の隠された情報に従ってLSMの埋め込み空間を整列させることである。 適応的ブラウン橋型記号集合(ABBA)と呼ばれる記号的時系列近似(STSA)法は, LLMの既存のトークンを用いて, 振幅と周期を指標として時系列パターンをモデル化することにより, 顕著な時系列特徴の保存に優れた有効性を示す。 本稿では,様々なダウンストリーム時系列タスクに対して,ABBAを大規模言語モデルに統合するLLM-ABBAという手法を提案する。 LLM-ABBAは、時系列を象徴することにより、最近のUCRにおける最先端(SOTA)と3つの医療時系列分類タスクとを良好に比較する。 一方、ABBAにおける固定多角形連鎖トリックは、シンボルから数値への遷移中に誤用されたシンボルから生じる累積誤差の影響を著しく軽減し、予測タスク中に \kc{avoid obvious drifting} に導入される。 時系列回帰タスクでは、LLM-ABBAはTSER(Time Series Extrinsic Regression)ベンチマークで新しいSOTAを達成する。 LLM-ABBAは、最近のSOTA時系列予測結果と比較して、競合予測能力を示す。 このフレームワークは他の時系列タスクにもシームレスに拡張できると考えています。

関連論文リスト

• TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
  大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
  論文  参考訳（メタデータ） (2024-11-24T07:02:32Z)
• Quantized symbolic time series approximation [0.28675177318965045]
  本稿では,新しい量子化に基づくABBA記号近似手法,QABBAを提案する。 QABBAは、元の速度とシンボル再構成の精度を維持しながら、ストレージ効率を向上させる。 時系列回帰のための大規模言語モデル(LLM)を用いたQABBAの応用についても述べる。
  論文  参考訳（メタデータ） (2024-11-20T10:32:22Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。