論文の概要: Advancing Time Series Classification with Multimodal Language Modeling

• arxiv url: http://arxiv.org/abs/2403.12371v1
• Date: Tue, 19 Mar 2024 02:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:41:42.557459
• Title: Advancing Time Series Classification with Multimodal Language Modeling
• Title（参考訳）: マルチモーダル言語モデリングによる時系列分類の改善
• Authors: Mingyue Cheng, Yiheng Chen, Qi Liu, Zhiding Liu, Yucong Luo,
• Abstract要約: InstructTimeは、時系列分類を学習から生成までのパラダイムとして再形成するための新しい試みである。 中心となる考え方は、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化することである。 ベンチマークデータセット上で大規模な実験が行われ、その結果、InstructTimeの優れたパフォーマンスが明らかになった。
• 参考スコア（独自算出の注目度）: 6.624754582682479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the advancements of time series classification, scrutinizing previous studies, most existing methods adopt a common learning-to-classify paradigm - a time series classifier model tries to learn the relation between sequence inputs and target label encoded by one-hot distribution. Although effective, this paradigm conceals two inherent limitations: (1) encoding target categories with one-hot distribution fails to reflect the comparability and similarity between labels, and (2) it is very difficult to learn transferable model across domains, which greatly hinder the development of universal serving paradigm. In this work, we propose InstructTime, a novel attempt to reshape time series classification as a learning-to-generate paradigm. Relying on the powerful generative capacity of the pre-trained language model, the core idea is to formulate the classification of time series as a multimodal understanding task, in which both task-specific instructions and raw time series are treated as multimodal inputs while the label information is represented by texts. To accomplish this goal, three distinct designs are developed in the InstructTime. Firstly, a time series discretization module is designed to convert continuous time series into a sequence of hard tokens to solve the inconsistency issue across modal inputs. To solve the modality representation gap issue, for one thing, we introduce an alignment projected layer before feeding the transformed token of time series into language models. For another, we highlight the necessity of auto-regressive pre-training across domains, which can facilitate the transferability of the language model and boost the generalization performance. Extensive experiments are conducted over benchmark datasets, whose results uncover the superior performance of InstructTime and the potential for a universal foundation model in time series classification.
• Abstract（参考訳）: 時系列分類の進歩, 先行研究の精査, 既存のほとんどの手法は, 共通の学習と分類のパラダイムを採用しており, 時系列分類モデルでは, シーケンス入力と1ホット分布で符号化されたターゲットラベルの関係を学習しようとする。 このパラダイムは,(1)一点分布を持つ対象カテゴリの符号化ではラベル間の相違性や類似性を反映できないこと,(2)ドメイン間の伝達可能なモデルを学習することが極めて困難であること,という2つの固有の制約を隠蔽する。 本研究では,時系列分類を学習から生成へのパラダイムとして再形成する新しい試みであるInstructTimeを提案する。 事前学習された言語モデルの強力な生成能力に基づいて、ラベル情報をテキストで表現しながら、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化する。 この目標を達成するために、3つの異なるデザインがInstructTimeで開発されている。 第一に、時系列離散化モジュールは、連続時系列をハードトークンの列に変換し、モーダル入力間の不整合問題を解決するように設計されている。 モーダリティ表現ギャップの問題を解決するために、時系列の変換トークンを言語モデルに入力する前に、アライメント投影層を導入する。 また,言語モデルの伝達性の向上と一般化性能の向上を図るために,ドメイン間の自動回帰事前学習の必要性を強調した。 InstructTimeの優れた性能と時系列分類における普遍的な基礎モデルの可能性を明らかにするため、ベンチマークデータセット上で大規模な実験が行われた。

関連論文リスト

• On the Regularization of Learnable Embeddings for Time Series Processing [18.069747511100132]
  時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。 この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:30:20Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Mimic: An adaptive algorithm for multivariate time series classification [11.49627617337276]
  時系列データは価値があるが、しばしば調査できない。 金融、医療、その他の重要なアプリケーションのための時系列分類器の信頼を得ることは、解釈可能なモデルの作成に依存するかもしれない。 本研究では,解釈可能性を導入しながら,最強分類器の予測精度を維持する新しいMimicアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-08T04:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。