論文の概要: WhatIf-Bench: Benchmarking Intervention-Aware Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2610.26582v1
- Date: Mon, 19 Oct 2026 15:32:53 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:01:11.996623
- Title: WhatIf-Bench: Benchmarking Intervention-Aware Time Series Forecasting
- Title(参考訳): WhatIf-Bench: 干渉を意識した時系列予測のベンチマーク
- Abstract要約: WhatIf-Benchは、予測者が共変量を使って将来の事象に対するターゲットの反応を予測するベンチマークである。
TSFM,フロンティアLLM,および簡易回帰ベースラインの評価を行った。
LLMは、最高のTSFMよりも上位のスキル(素早いベースラインよりも向上)に達することが分かっています。
- 参考スコア(独自算出の注目度): 89.30960151667922
- License:
- Abstract: Recent time series foundation models (TSFMs) can consume covariates in-context, extending zero-shot forecasting to problems driven by external factors. This enables scenario analysis: forecasting how a target responds to events that set covariates to chosen future values. Whether they can do this reliably is an open question. We introduce WhatIf-Bench, a benchmark measuring how well forecasters use covariates to forecast a target's response to future events. WhatIf-Bench is semi-synthetic: time series come from mechanistic simulators of data centers, power grids, road traffic, and water networks, with controlled covariate-target relationships grounded in each system. Each task presents a history of events intervening on covariates, then asks to forecast a future event that either replays seen values (Replay) or sets them to unseen ones (Novel). Varying the number of covariates, historical events, and event length yields 37,665 tasks. Evaluating TSFMs, frontier LLMs, and simple regression baselines, we find the LLMs reach the highest skill (improvement over a naive baseline), ahead of the best TSFMs. Every model forecasts well on Replay futures (48 to 85% skill) but drops to -7 to 50% on Novel futures, with the regression baselines falling the most. Skill on Novel futures also falls as events set more covariates jointly. More historical events raise skill on Novel futures across the board, but large differences remain. WhatIf-Bench reveals generalization to Novel futures as the core challenge, and offers a testbed toward arbitrary scenario analysis.
- Abstract(参考訳): 最近の時系列基礎モデル(TSFM)は、文脈内で共変量を利用することができ、ゼロショット予測を外部要因によって駆動される問題にまで拡張する。
これはシナリオ分析を可能にし、ターゲットが選択した将来の値に共変するイベントにどのように反応するかを予測する。
確実にできるかどうかは、未解決の問題だ。
WhatIf-Benchは、予測者が共変量を使って将来の事象に対するターゲットの反応を予測するためのベンチマークである。
WhatIf-Benchは半合成であり、時系列はデータセンター、電力網、道路交通、水道網のメカニスティックシミュレーターから生まれ、それぞれのシステムに制御された共変量とターゲットの関係がある。
各タスクは、共変量に介入するイベントの履歴を表示し、その後、見た値(リプレイ)を再生するか、見当たらない値(ノーベル)に設定する将来のイベントを予測するように要求する。
共変量、歴史的出来事、出来事の長さの変動は37,665のタスクをもたらす。
TSFM,フロンティアLSM,および単純な回帰ベースラインを評価すると,LSMは最高のTSFMよりも高いスキル(素早いベースラインよりも向上)に達する。
すべてのモデルは、リプレイ先(48~85%のスキル)をよく予測するが、新進先では7~50%に低下し、レグレッションベースラインが最も低下する。
ノベル・フューチャーズに関するスキルは、より共変種を共同で設定するイベントによっても低下する。
より歴史的な出来事は、委員会全体で新しい未来に関するスキルを高めるが、大きな違いは残っていない。
WhatIf-Benchは、新しい未来への一般化をコアチャレンジとして明らかにし、任意のシナリオ分析に向けたテストベッドを提供する。
関連論文リスト
- SEER: Self-Evolving Event Reasoning and Retrieval for Time Series Forecasting [78.20370240878118]
時系列予測のためのイベントコンディショニングを動的に最適化するクローズドループフレームワークSEER(Self-Evolving Event Reasoning and Retrieval)を提案する。
SEERは予測エラーを2つの分離されたフィードバックメカニズムに変換する。
イベント検索とリフレクションの両方にわたって厳格な時間境界を強制し、ルックアヘッドバイアスとデータ漏洩を防止する。
論文 参考訳(メタデータ) (2026-10-02T22:30:10Z) - LEAF: A Living Benchmark for Event-Augmented Forecasting [78.94019460534442]
LEAFは、イベント拡張予測タスクの最初の生きたベンチマークである。
我々は最先端のプロプライエタリかつオープンウェイトなLLMを評価した。
LLMは、より予測し易いと自信を持って判断し、より優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-05-09T03:17:59Z) - Wisdom of the Crowds in Forecasting: Forecast Summarization for Supporting Future Event Prediction [17.021220773165016]
Future Event Prediction (FEP) は、複数のドメインにまたがる需要とアプリケーションの範囲にまたがる重要なアクティビティである。
予測方法の1つは、将来についての集合的な意見を収集して集約し、累積的な視点が今後の出来事の可能性を推定する可能性をもたらすように予測することである。
本研究では,個々の予測を集約することで,群衆の知恵に基づく今後のイベント予測を支援するために,既存の研究・フレームワークを編成する。
論文 参考訳(メタデータ) (2025-02-12T08:35:10Z) - Exploring the Limits of Historical Information for Temporal Knowledge
Graph Extrapolation [59.417443739208146]
本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。
CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。
提案したモデルを5つのベンチマークグラフで評価する。
論文 参考訳(メタデータ) (2023-08-29T03:26:38Z) - Explainable Parallel RCNN with Novel Feature Representation for Time
Series Forecasting [0.0]
時系列予測はデータサイエンスにおける根本的な課題である。
RNNとCNNを組み合わせた並列ディープラーニングフレームワークを開発した。
3つのデータセットに対する大規模な実験により,本手法の有効性が明らかとなった。
論文 参考訳(メタデータ) (2023-05-08T17:20:13Z) - Towards Out-of-Distribution Sequential Event Prediction: A Causal
Treatment [72.50906475214457]
シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。
実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。
文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-24T07:54:13Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳(メタデータ) (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。