論文の概要: Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification
- arxiv url: http://arxiv.org/abs/2410.18686v1
- Date: Thu, 24 Oct 2024 12:32:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:49:15.441359
- Title: Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification
- Title（参考訳）: 時系列分類のための意味空間アライメント付き階層型マルチモーダルLCM
- Authors: Xiaoyu Tao, Tingyue Pan, Mingyue Cheng, Yucong Luo,
- Abstract要約: HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。
本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 4.5939667818289385
- License:
- Abstract: Leveraging large language models (LLMs) has garnered increasing attention and introduced novel perspectives in time series classification. However, existing approaches often overlook the crucial dynamic temporal information inherent in time series data and face challenges in aligning this data with textual semantics. To address these limitations, we propose HiTime, a hierarchical multi-modal model that seamlessly integrates temporal information into LLMs for multivariate time series classification (MTSC). Our model employs a hierarchical feature encoder to capture diverse aspects of time series data through both data-specific and task-specific embeddings. To facilitate semantic space alignment between time series and text, we introduce a dual-view contrastive alignment module that bridges the gap between modalities. Additionally, we adopt a hybrid prompting strategy to fine-tune the pre-trained LLM in a parameter-efficient manner. By effectively incorporating dynamic temporal features and ensuring semantic alignment, HiTime enables LLMs to process continuous time series data and achieves state-of-the-art classification performance through text generation. Extensive experiments on benchmark datasets demonstrate that HiTime significantly enhances time series classification accuracy compared to most competitive baseline methods. Our findings highlight the potential of integrating temporal features into LLMs, paving the way for advanced time series analysis. The code is publicly available for further research and validation. Our codes are publicly available1.
- Abstract（参考訳）: 大規模言語モデル(LLM)の活用が注目され、時系列分類の新しい視点が導入された。
しかし、既存のアプローチは、時系列データに固有の重要な動的時間的情報を見落とし、このデータをテキスト意味論と整合させる際の課題に直面していることが多い。
これらの制約に対処するため,多変量時系列分類(MTSC)のための時系列情報をシームレスに統合する階層型マルチモーダルモデルであるHiTimeを提案する。
我々のモデルは階層的な特徴エンコーダを用いて、データ固有の埋め込みとタスク固有の埋め込みの両方を通して時系列データの様々な側面をキャプチャする。
時系列とテキスト間のセマンティック空間のアライメントを容易にするために,モーダル間のギャップを埋めるデュアルビューコントラストアライメントモジュールを導入する。
さらに,事前学習したLLMをパラメータ効率よく微調整するハイブリッドプロンプト戦略を採用した。
動的時間的特徴を効果的に取り入れ、セマンティックアライメントを確保することで、HiTimeはLLMが連続時系列データを処理し、テキスト生成を通じて最先端の分類性能を達成することができる。
ベンチマークデータセットの大規模な実験により、HiTimeはほとんどの競合するベースライン手法と比較して時系列分類の精度を大幅に向上することが示された。
本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
このコードは、さらなる研究と検証のために公開されている。
私たちのコードは公開されています。
関連論文リスト
- Revisited Large Language Model for Time Series Analysis through Modality Alignment [16.147350486106777]
大規模言語モデルは、センサデータ分析のような多くの重要なWebアプリケーションにおいて、印象的なパフォーマンスを示している。
本研究では,予測,分類,計算,異常検出など,主要な時系列タスクにLLMを適用することの有効性を評価する。
この結果から,LLMはこれらのコア時系列タスクに対して最小限のアドバンテージを提供し,データの時間構造を歪めてしまう可能性があることがわかった。
論文 参考訳（メタデータ） (2024-10-16T07:47:31Z) - Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。
メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。
Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
論文 参考訳（メタデータ） (2024-10-04T11:37:55Z) - Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark [13.490168087823992]
大規模言語モデル(LLM)は、自動時系列分析とレポートの可能性を秘めている。
本稿では時系列データに固有の様々な特徴を記述した重要なフレームワークである時系列特徴の包括的分類法を紹介する。
このデータセットは、コンパイル時系列におけるLCMの熟練度を評価するための確かな基盤として機能する。
論文 参考訳（メタデータ） (2024-04-25T12:24:37Z) - $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting [21.921303835714628]
本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。
提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳（メタデータ） (2024-03-09T05:20:48Z) - Multi-Patch Prediction: Adapting LLMs for Time Series Representation
Learning [22.28251586213348]
aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。
われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
論文 参考訳（メタデータ） (2024-02-07T13:51:26Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。
時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。
AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文 参考訳（メタデータ） (2024-02-04T06:59:21Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Temporal-aware Hierarchical Mask Classification for Video Semantic
Segmentation [62.275143240798236]
ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。
VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。
提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-09-14T20:31:06Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-03-01T08:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。