論文の概要: TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments
- arxiv url: http://arxiv.org/abs/2608.14270v1
- Date: Fri, 14 Aug 2026 12:53:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.384099
- Title: TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments
- Title(参考訳): TimeSage-EV: 進化する環境におけるエージェント時系列分析のためのライブベンチマーク
- Abstract要約: TimeSage-EVは、進化する環境におけるエージェント時系列分析のためのライブベンチマークである。
2023年2月から2026年5月までの1,485のシナリオ周期QAペアで構成されている。
TimeSage-EVは状態識別、データの要約、展望推論を評価する。
- 参考スコア(独自算出の注目度): 46.167956432673776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time series analysis in high-stakes domains relies on recurring data releases, where new observations can alter the evidence base and the validity of later conclusions. Existing time series QA benchmarks mostly rely on fixed snapshots, leaving temporal validity and cutoff-aware evidence use unevaluated. We introduce TimeSage-EV, a live benchmark for agentic time series analysis in evolving environments. It tracks 60 real institutional scenarios across 6 domains, comprising 1,485 scenario-period QA pairs from Feb 2023 to May 2026 and spanning monthly, weekly, daily, and irregular release cadences. At each period, large language model (LLM) agents receive time series data and source reports, while the withheld target release provides ground truth. TimeSage-EV evaluates state identification, data summarization, and outlook reasoning. Experiments with frontier LLM agents and TimeSage-1.0, a novel self-evolving agent with a reusable analytical skill library, reveal significant performance gaps across model tiers and recurring failures in temporal validity, exogenous context use, and adaptation. We release TimeSage-EV as a research resource with monthly updates, code, a leaderboard, and failure-mode analyses.
- Abstract(参考訳): ハイテイク領域における時系列解析は、再帰的なデータリリースに依存しており、そこでは新たな観測結果がエビデンスベースとその後の結論の妥当性を変化させることができる。
既存の時系列QAベンチマークは主に固定スナップショットに依存しており、時間的妥当性とカットオフ対応の証拠は未評価のままである。
進化する環境におけるエージェント時系列分析のためのライブベンチマークであるTimeSage-EVを紹介する。
2023年2月から2026年5月までの1,485のシナリオ周期のQAペアと、毎月,週,日,不規則なリリースケイデンスで構成されている。
各期間で、大言語モデル(LLM)エージェントは時系列データとソースレポートを受け取り、未保持のターゲットリリースは基礎的な真実を提供する。
TimeSage-EVは状態識別、データの要約、展望推論を評価する。
フロンティアのLLMエージェントと、再利用可能な分析スキルライブラリを備えた新たな自己進化エージェントであるTimeSage-1.0による実験により、時間的妥当性、外因性コンテキストの使用、適応において、モデル階層と繰り返し失敗の間に大きなパフォーマンスギャップが明らかとなった。
月次アップデート、コード、リーダーボード、障害モード分析を備えた調査リソースとしてTimeSage-EVをリリースします。
関連論文リスト
- LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models [41.28223590438589]
このLiveHouse-TSは、Time Series Foundation Modelsの最初のオープンワールドライブベンチマークインフラストラクチャです。
LiveHouse-TSは、時系列ベンチマークをスナップショットの精度から継続的な時間的妥当性にシフトする。
私たちのインフラは、重要な長期的な科学的疑問を探求するために設計された、連続した時系列のインフラとして機能します。
論文 参考訳(メタデータ) (2026-08-18T02:50:48Z) - TimeSage-MT: A Multi-Turn Benchmark for Evaluating Agentic Time Series Reasoning [44.68126840122709]
時系列データは、多くの現実世界のドメインに対して重要な決定を通知する。
大規模言語モデル (LLM) エージェントがマルチターン会話を通して信頼できる時系列解析を行うことができるかどうかは不明である。
TimeSage-MTは、240のタスクと2,680の対話が8つの現実世界のドメインにまたがるエージェント時系列推論のベンチマークである。
論文 参考訳(メタデータ) (2026-05-31T23:34:35Z) - Impermanent: A Live Benchmark for Temporal Generalization in Time Series Forecasting [8.050703449557028]
Impermanentは、オープンワールドの時間的変化の下で予測モデルを評価するライブベンチマークである。
私たちは、スター数によるトップ400リポジトリにフォーカスし、イシューのオープン、プルリクエストのオープン、プッシュイベント、新しいスターゲイザーから時系列を構築します。
静的な精度から持続的な性能へ評価をシフトさせることにより、Imbermanentは、時系列予測における基礎レベルの一般化が有意義に主張できるかどうかを評価するための具体的な一歩を踏み出す。
論文 参考訳(メタデータ) (2026-03-09T17:59:00Z) - TSAQA: Time Series Analysis Question And Answering Benchmark [85.35545785252309]
時系列データは、金融、医療、交通、環境科学といった分野における重要な応用に不可欠である。
TSAQAはタスクカバレッジを拡大し、多様な時間的分析能力を評価するために設計された新しい統合ベンチマークである。
論文 参考訳(メタデータ) (2026-01-30T17:28:56Z) - A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。
本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。
火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文 参考訳(メタデータ) (2025-10-11T09:59:25Z) - Time-RA: Towards Time Series Reasoning for Anomaly with LLM Feedback [55.284574165467525]
Time-RA(Time-Series Reasoning for Anomaly)は、時系列異常検出を生成的、推論集約的なタスクに変換する。
また,実世界のマルチモーダルベンチマークデータセットであるRATs40Kを導入する。
論文 参考訳(メタデータ) (2025-07-20T18:02:50Z) - GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。
GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。
GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
論文 参考訳(メタデータ) (2024-10-14T11:29:38Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。