論文の概要: TimeSeriesExam: A time series understanding exam

• arxiv url: http://arxiv.org/abs/2410.14752v1
• Date: Fri, 18 Oct 2024 02:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:32.160761
• Title: TimeSeriesExam: A time series understanding exam
• Title（参考訳）: TimeSeriesExam: 時系列理解試験
• Authors: Yifu Cai, Arjun Choudhry, Mononito Goswami, Artur Dubrawski,
• Abstract要約: TimeSeriesExamは700以上の質問で構成され、104の慎重にキュレートされたテンプレートを使用して手続き的に生成される。 我々は、TimeSeriesExam上で7つの最先端LCMをテストし、時系列理解能力の総合的な評価を初めて提供する。
• 参考スコア（独自算出の注目度）: 18.06147400795917
• License:
• Abstract: Large Language Models (LLMs) have recently demonstrated a remarkable ability to model time series data. These capabilities can be partly explained if LLMs understand basic time series concepts. However, our knowledge of what these models understand about time series data remains relatively limited. To address this gap, we introduce TimeSeriesExam, a configurable and scalable multiple-choice question exam designed to assess LLMs across five core time series understanding categories: pattern recognition, noise understanding, similarity analysis, anomaly detection, and causality analysis. TimeSeriesExam comprises of over 700 questions, procedurally generated using 104 carefully curated templates and iteratively refined to balance difficulty and their ability to discriminate good from bad models. We test 7 state-of-the-art LLMs on the TimeSeriesExam and provide the first comprehensive evaluation of their time series understanding abilities. Our results suggest that closed-source models such as GPT-4 and Gemini understand simple time series concepts significantly better than their open-source counterparts, while all models struggle with complex concepts such as causality analysis. We believe that the ability to programatically generate questions is fundamental to assessing and improving LLM's ability to understand and reason about time series data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、時系列データをモデル化する驚くべき能力を示した。 これらの機能は、LLMが基本的な時系列の概念を理解すれば部分的に説明できる。 しかし、これらのモデルが時系列データについて何を理解するかについての知識は、いまだに限られている。 このギャップに対処するために、パターン認識、ノイズ理解、類似性分析、異常検出、因果解析という5つのコア時系列理解カテゴリにわたるLSMを評価するために設計された、構成可能でスケーラブルな多重選択質問試験であるTimeSeriesExamを紹介した。 TimeSeriesExamは700以上の質問で構成されており、104個の慎重にキュレートされたテンプレートを使用して手続き的に生成され、難易度と悪いモデルとを区別する能力のバランスをとるために反復的に洗練されている。 我々は、TimeSeriesExam上で7つの最先端LCMをテストし、時系列理解能力の総合的な評価を初めて提供する。 GPT-4 や Gemini などのクローズドソースモデルでは,すべてのモデルが因果解析などの複雑な概念に苦しむ一方で,単純な時系列概念がオープンソースモデルよりもはるかに優れていることが示唆された。 LLMの時系列データに対する理解と推論能力の評価と改善には,プログラムで質問を生成できる能力が不可欠である,と我々は信じている。

関連論文リスト

• General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
  周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。 時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。 自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
  論文  参考訳（メタデータ） (2025-02-05T15:20:04Z)
• Can Multimodal LLMs do Visual Temporal Understanding and Reasoning? The answer is No! [22.75945626401567]
  本稿では,TemporalVQAという評価ベンチマークを提案する。 第1部では、時間的に連続するビデオフレームを分析してイベントのシーケンスを決定するためにMLLMが必要である。 第2部では、複数選択の質問としてフレーム化された時間差のある画像ペアを提示し、MLLMに秒から数年のオプションで画像間のタイムラプスを見積もる。 GPT-4o や Gemini-1.5-Pro などのモデルを含む先進MLLM の評価は,重要な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-01-18T06:41:48Z)
• ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning [10.854285913078257]
  本稿では,時系列解析用に設計された新しいMLLMであるChatTSを紹介する。 ChatTSは、視覚MLLMが画像を処理する方法と同様、時系列をモダリティとして扱う。 Time Series Evol-Instructは様々な時系列Q&Aを生成し、モデルの推論能力を高めます。
  論文  参考訳（メタデータ） (2024-12-04T08:06:15Z)
• Can LLMs Understand Time Series Anomalies? [20.848375315326305]
  大規模言語モデル (LLM) は時系列予測で人気を博しているが, 異常検出の可能性はほとんど未解明である。 本研究では,ゼロショットと少数ショットのシナリオに着目し,時系列データ中の異常をLLMが理解し,検出できるかどうかを検討する。 この結果から,LLMは時系列異常を理解できるが,その推論能力に基づく多くの共通予想は成り立たないことが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T19:16:02Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark [13.490168087823992]
  大規模言語モデル(LLM)は、自動時系列分析とレポートの可能性を秘めている。 本稿では時系列データに固有の様々な特徴を記述した重要なフレームワークである時系列特徴の包括的分類法を紹介する。 このデータセットは、コンパイル時系列におけるLCMの熟練度を評価するための確かな基盤として機能する。
  論文  参考訳（メタデータ） (2024-04-25T12:24:37Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
  本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。 具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。 次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
  論文  参考訳（メタデータ） (2024-02-05T16:46:35Z)
• Position: What Can Large Language Models Tell Us about Time Series Analysis [69.70906014827547]
  現在の大規模言語モデル(LLM)は時系列解析に革命をもたらす可能性があると我々は主張する。 このような進歩は、時系列のモダリティスイッチングや質問応答など、幅広い可能性を解き放つ可能性がある。
  論文  参考訳（メタデータ） (2024-02-05T04:17:49Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
  自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。 この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
  論文  参考訳（メタデータ） (2023-06-16T18:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。