論文の概要: LETS-C: Leveraging Language Embedding for Time Series Classification

• arxiv url: http://arxiv.org/abs/2407.06533v1
• Date: Tue, 9 Jul 2024 04:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 19:25:27.802568
• Title: LETS-C: Leveraging Language Embedding for Time Series Classification
• Title（参考訳）: LETS-C: 時系列分類のための言語埋め込みの活用
• Authors: Rachneet Kaur, Zhen Zeng, Tucker Balch, Manuela Veloso,
• Abstract要約: 本稿では,時系列領域における言語モデリングの成功を活用するための代替手法を提案する。 言語埋め込みモデルを用いて時系列を埋め込み、その埋め込みを畳み込みニューラルネットワーク(CNN)と多層パーセプトロン(MLP)からなる単純な分類ヘッドと組み合わせる。 この結果から,言語エンコーダを用いて時系列データを埋め込むことで,高速な時系列分類を実現する上で有望な方向性が示唆された。
• 参考スコア（独自算出の注目度）: 15.520883566827608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in language modeling have shown promising results when applied to time series data. In particular, fine-tuning pre-trained large language models (LLMs) for time series classification tasks has achieved state-of-the-art (SOTA) performance on standard benchmarks. However, these LLM-based models have a significant drawback due to the large model size, with the number of trainable parameters in the millions. In this paper, we propose an alternative approach to leveraging the success of language modeling in the time series domain. Instead of fine-tuning LLMs, we utilize a language embedding model to embed time series and then pair the embeddings with a simple classification head composed of convolutional neural networks (CNN) and multilayer perceptron (MLP). We conducted extensive experiments on well-established time series classification benchmark datasets. We demonstrated LETS-C not only outperforms the current SOTA in classification accuracy but also offers a lightweight solution, using only 14.5% of the trainable parameters on average compared to the SOTA model. Our findings suggest that leveraging language encoders to embed time series data, combined with a simple yet effective classification head, offers a promising direction for achieving high-performance time series classification while maintaining a lightweight model architecture.
• Abstract（参考訳）: 近年の言語モデリングの進歩は時系列データに適用した場合に有望な結果を示している。 特に、時系列分類タスクのための微調整済みの大規模言語モデル(LLM)は、標準ベンチマークで最先端(SOTA)性能を達成した。 しかしながら、これらのLCMベースのモデルは、数百万のトレーニング可能なパラメータの数で、大きなモデルサイズのため、大きな欠点がある。 本稿では,時系列領域における言語モデリングの成功を活用するための代替手法を提案する。 LLMを微調整する代わりに、言語埋め込みモデルを用いて時系列を埋め込み、その埋め込みを畳み込みニューラルネットワーク(CNN)と多層パーセプトロン(MLP)からなる単純な分類ヘッドと組み合わせる。 我々は、確立された時系列分類ベンチマークデータセットについて広範な実験を行った。 LETS-Cは従来のSOTAモデルよりも精度が高いだけでなく、トレーニング可能なパラメータの14.5%しか使用せず、軽量なソリューションも提供することを示した。 この結果から,言語エンコーダを組み込んで時系列データを組み込むことにより,軽量なモデルアーキテクチャを維持しつつ,高速な時系列分類を実現する上で有望な方向性を示すことが示唆された。

関連論文リスト

• Revisited Large Language Model for Time Series Analysis through Modality Alignment [16.147350486106777]
  大規模言語モデルは、センサデータ分析のような多くの重要なWebアプリケーションにおいて、印象的なパフォーマンスを示している。 本研究では,予測,分類,計算,異常検出など,主要な時系列タスクにLLMを適用することの有効性を評価する。 この結果から,LLMはこれらのコア時系列タスクに対して最小限のアドバンテージを提供し,データの時間構造を歪めてしまう可能性があることがわかった。
  論文  参考訳（メタデータ） (2024-10-16T07:47:31Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Interpretable Time Series Classification using Linear Models and Multi-resolution Multi-domain Symbolic Representations [6.6147550436077776]
  我々は,現在のアプローチにおけるギャップに対処する新しい時系列分類アルゴリズムを提案する。 提案手法は,時系列の記号表現,効率的なシーケンスマイニングアルゴリズム,線形分類モデルに基づく。 我々のモデルは深層学習モデルと同じくらい正確だが、実行時間やメモリに関してより効率的であり、可変長の時系列を扱うことができ、元の時系列における識別的象徴的特徴を強調することで解釈できる。
  論文  参考訳（メタデータ） (2020-05-31T15:32:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。