論文の概要: TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models

• arxiv url: http://arxiv.org/abs/2411.15737v2
• Date: Sun, 08 Dec 2024 13:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:43.679533
• Title: TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models
• Title（参考訳）: テーブルタイム:大規模言語モデルによるゼロショットテーブル理解としての時系列分類の改革
• Authors: Jiahao Wang, Mingyue Cheng, Qingyang Mao, Qi Liu, Feiyang Xu, Xin Li, Enhong Chen,
• Abstract要約: 大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
• 参考スコア（独自算出の注目度）: 54.44272772296578
• License:
• Abstract: Large language models (LLMs) have demonstrated their effectiveness in multivariate time series classification (MTSC). Effective adaptation of LLMs for MTSC necessitates informative data representations. Existing LLM-based methods directly encode embeddings for time series within the latent space of LLMs from scratch to align with semantic space of LLMs. Despite their effectiveness, we reveal that these methods conceal three inherent bottlenecks: (1) they struggle to encode temporal and channel-specific information in a lossless manner, both of which are critical components of multivariate time series; (2) it is much difficult to align the learned representation space with the semantic space of the LLMs; (3) they require task-specific retraining, which is both computationally expensive and labor-intensive. To bridge these gaps, we propose TableTime, which reformulates MTSC as a table understanding task. Specifically, TableTime introduces the following strategies: (1) convert multivariate time series into a tabular form, thus minimizing information loss to the greatest extent; (2) represent tabular time series in text format to achieve natural alignment with the semantic space of LLMs; (3) design a reasoning framework that integrates contextual text information, neighborhood assistance, multi-path inference and problem decomposition to enhance the reasoning ability of LLMs and realize zero-shot classification. Extensive experiments performed on 10 publicly representative datasets from UEA archive verify the superiorities of the TableTime.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多変量時系列分類(MTSC)においてその効果を実証している。 MTSCのためのLLMの効果的な適応は、情報的データ表現を必要とする。 既存のLLMベースの手法は、LLMの潜在空間内における時系列の埋め込みを直接コードし、LLMのセマンティック空間と整合する。 有効性にもかかわらず,これらの手法は3つの固有のボトルネックを隠蔽していることが明らかとなった。(1)多変量時系列の重要な構成要素である時間的・チャネル固有の情報を損失のない方法でエンコードすること,(2)学習された表現空間をLLMの意味空間と整合させること,(3)計算コストと労働集約の両方を必要とするタスク特化リトレーニングである。 これらのギャップを埋めるため,MTSCを表理解タスクとして再編成するTableTimeを提案する。 具体的には,(1)多変量時系列を表形式に変換することにより,情報の損失を最大限に抑えること,(2)LLMの意味空間と自然に一致させるためにテキスト形式の表形式時系列を表現すること,(3)LLMの推論能力を高め,ゼロショット分類を実現するためにコンテキストテキスト情報,近傍支援,マルチパス推論,問題分解を統合する推論フレームワークを設計すること,などが紹介されている。 大規模な実験は、UEAアーカイブから公開されている10のデータセットで実施され、TableTimeの優位性を検証する。

関連論文リスト

• Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
  大規模言語モデル (LLM) は時系列解析に広く応用されている。 しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。 データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
  論文  参考訳（メタデータ） (2025-01-30T03:59:59Z)
• Rethinking Time Series Forecasting with LLMs via Nearest Neighbor Contrastive Learning [1.7892194562398749]
  本稿では, NNCL-TLLM: Nearest Neighbor Contrastive Learning for Time Series forecasting via Large Language Modelsを提案する。 まず、時系列互換テキストプロトタイプを作成し、各テキストプロトタイプは、その近傍に単語トークンを埋め込んだり、時系列の特徴を表現したりする。 次に、LLMの層正規化と位置埋め込みを微調整し、他の層をそのままに保ち、トレーニング可能なパラメータを減らし、計算コストを削減した。
  論文  参考訳（メタデータ） (2024-12-06T06:32:47Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• Learning to Reduce: Towards Improving Performance of Large Language Models on Structured Data [39.29778853025738]
  大規模言語モデル(LLM)は、幅広い下流タスクにおいて有能なパフォーマンスを実現している。 本稿では、オン・ポリシー・ラーニングを用いて言語モデルを微調整し、入力された構造化データの縮小版を生成するフレームワークであるLearning to Reduceを提案する。
  論文  参考訳（メタデータ） (2024-07-03T01:51:50Z)
• LITA: Language Instructed Temporal-Localization Assistant [71.68815100776278]
  ビデオ長に対してタイムスタンプをエンコードするタイムトークンを導入し,ビデオ中のタイムスタンプをよりよく表現する。 また、アーキテクチャにSlowFastトークンを導入し、微細な時間分解能で時間情報をキャプチャする。 時間的ローカライゼーションに重点を置くことで,既存のビデオLLMに比べて映像ベースのテキスト生成が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T22:50:48Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。