論文の概要: TimeSeriesExam: A time series understanding exam

• arxiv url: http://arxiv.org/abs/2410.14752v1
• Date: Fri, 18 Oct 2024 02:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:32.160761
• Title: TimeSeriesExam: A time series understanding exam
• Title（参考訳）: TimeSeriesExam: 時系列理解試験
• Authors: Yifu Cai, Arjun Choudhry, Mononito Goswami, Artur Dubrawski,
• Abstract要約: TimeSeriesExamは700以上の質問で構成され、104の慎重にキュレートされたテンプレートを使用して手続き的に生成される。 我々は、TimeSeriesExam上で7つの最先端LCMをテストし、時系列理解能力の総合的な評価を初めて提供する。
• 参考スコア（独自算出の注目度）: 18.06147400795917
• License:
• Abstract: Large Language Models (LLMs) have recently demonstrated a remarkable ability to model time series data. These capabilities can be partly explained if LLMs understand basic time series concepts. However, our knowledge of what these models understand about time series data remains relatively limited. To address this gap, we introduce TimeSeriesExam, a configurable and scalable multiple-choice question exam designed to assess LLMs across five core time series understanding categories: pattern recognition, noise understanding, similarity analysis, anomaly detection, and causality analysis. TimeSeriesExam comprises of over 700 questions, procedurally generated using 104 carefully curated templates and iteratively refined to balance difficulty and their ability to discriminate good from bad models. We test 7 state-of-the-art LLMs on the TimeSeriesExam and provide the first comprehensive evaluation of their time series understanding abilities. Our results suggest that closed-source models such as GPT-4 and Gemini understand simple time series concepts significantly better than their open-source counterparts, while all models struggle with complex concepts such as causality analysis. We believe that the ability to programatically generate questions is fundamental to assessing and improving LLM's ability to understand and reason about time series data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、時系列データをモデル化する驚くべき能力を示した。 これらの機能は、LLMが基本的な時系列の概念を理解すれば部分的に説明できる。 しかし、これらのモデルが時系列データについて何を理解するかについての知識は、いまだに限られている。 このギャップに対処するために、パターン認識、ノイズ理解、類似性分析、異常検出、因果解析という5つのコア時系列理解カテゴリにわたるLSMを評価するために設計された、構成可能でスケーラブルな多重選択質問試験であるTimeSeriesExamを紹介した。 TimeSeriesExamは700以上の質問で構成されており、104個の慎重にキュレートされたテンプレートを使用して手続き的に生成され、難易度と悪いモデルとを区別する能力のバランスをとるために反復的に洗練されている。 我々は、TimeSeriesExam上で7つの最先端LCMをテストし、時系列理解能力の総合的な評価を初めて提供する。 GPT-4 や Gemini などのクローズドソースモデルでは,すべてのモデルが因果解析などの複雑な概念に苦しむ一方で,単純な時系列概念がオープンソースモデルよりもはるかに優れていることが示唆された。 LLMの時系列データに対する理解と推論能力の評価と改善には,プログラムで質問を生成できる能力が不可欠である,と我々は信じている。

関連論文リスト

• Can LLMs Understand Time Series Anomalies? [20.848375315326305]
  大規模言語モデル (LLM) は時系列予測で人気を博しているが, 異常検出の可能性はほとんど未解明である。 本研究では,ゼロショットと少数ショットのシナリオに着目し,時系列データ中の異常をLLMが理解し,検出できるかどうかを検討する。 この結果から,LLMは時系列異常を理解できるが,その推論能力に基づく多くの共通予想は成り立たないことが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T19:16:02Z)
• Can LLMs Serve As Time Series Anomaly Detectors? [33.28502093260832]
  大規模言語モデル(LLM)における新たなトピックは、時系列予測への応用である。 本稿では,LLM,特にGPT-4とLLaMA3の時系列における異常の検出・説明能力について検討する。
  論文  参考訳（メタデータ） (2024-08-06T23:14:39Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark [13.490168087823992]
  大規模言語モデル(LLM)は、自動時系列分析とレポートの可能性を秘めている。 本稿では時系列データに固有の様々な特徴を記述した重要なフレームワークである時系列特徴の包括的分類法を紹介する。 このデータセットは、コンパイル時系列におけるLCMの熟練度を評価するための確かな基盤として機能する。
  論文  参考訳（メタデータ） (2024-04-25T12:24:37Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
  汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。 我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。 我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
  論文  参考訳（メタデータ） (2024-02-06T10:48:46Z)
• Empowering Time Series Analysis with Large Language Models: A Survey [24.202539098675953]
  本稿では,大規模言語モデルを用いた時系列解析手法の体系的概要について述べる。 具体的には、まず、時系列の文脈で言語モデルを適用する際の課題とモチベーションについて述べる。 次に、既存のメソッドを異なるグループ(ダイレクトクエリ、トークン化、プロンプトデザイン、ファインチューン、モデル統合)に分類し、各グループにおける主要なアイデアを強調します。
  論文  参考訳（メタデータ） (2024-02-05T16:46:35Z)
• Position: What Can Large Language Models Tell Us about Time Series Analysis [69.70906014827547]
  現在の大規模言語モデル(LLM)は時系列解析に革命をもたらす可能性があると我々は主張する。 このような進歩は、時系列のモダリティスイッチングや質問応答など、幅広い可能性を解き放つ可能性がある。
  論文  参考訳（メタデータ） (2024-02-05T04:17:49Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
  自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。 この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
  論文  参考訳（メタデータ） (2023-06-16T18:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。