論文の概要: Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting
- arxiv url: http://arxiv.org/abs/2606.18367v1
- Date: Tue, 16 Jun 2026 18:16:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.836942
- Title: Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting
- Title(参考訳): 時系列モデルベンチマークはレジーム依存の失敗を隠すか? -交通速度予測による証拠
- Authors: Yingshuo Wang, Xian Sun, Lingdong Kong, Wei Gao, Yanhang Li, Zhichao Fan, Zexin Zhuang,
- Abstract要約: 状態階層化評価を導入し,それを3つの時系列基礎モデル(TSFM)に適用する。
交通は、自由流と渋滞状態の間で急激な政権交代を示し、移行中にバイモーダルな速度分布を生み出している。
以上の結果から,TSFMベンチマークでは,メトリクスを隠蔽するサーフェールをサーフェール評価に組み込むことが示唆された。
- 参考スコア(独自算出の注目度): 27.72189736764108
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard benchmarks evaluate time series foundation models (TSFMs) using aggregate metrics, but these can mask severe failures in critical operating regimes. We introduce regime-stratified evaluation and apply it to three TSFMs on two standard traffic speed benchmarks. Traffic exhibits abrupt regime switching between free-flow and congested states, producing bimodal speed distributions during transitions. When we stratify by traffic regime, both accuracy and prediction-interval coverage degrade sharply during transitions: transition-regime MAE reaches 11 mph (versus 3 mph overall), and empirical coverage of 90% prediction intervals drops as low as 55%. These failures are invisible in aggregate metrics because free-flow observations dominate the sample. A simple historical conditional baseline (sampling from per-sensor training distributions) achieves better transition coverage than any TSFM, but has far worse overall accuracy. We propose bimodal mixture augmentation (BMA), a post-hoc method that combines TSFM forecasts with historical distributional knowledge, approaching the historical baseline's transition coverage while preserving the TSFM's accuracy. Our results suggest that TSFM benchmarks should incorporate regime-aware evaluation to surface failures that aggregate metrics hide.
- Abstract(参考訳): 標準ベンチマークでは、集計基準を用いて時系列基礎モデル(TSFM)を評価するが、これらは重要な運用体制における重大な障害を隠蔽する可能性がある。
本稿では,2つの標準交通速度ベンチマーク上での3つのTSFMに適用する。
交通は、自由流と渋滞状態の間で急激な政権交代を示し、移行中にバイモーダルな速度分布を生み出している。
トランジッション・レジムのMAEは時速11マイル (総速度3 mph) に達し、90%の予測間隔のカバーは55%まで低下する。
フリーフロー観測がサンプルを支配しているため、これらの障害は集約メトリクスでは見えない。
単純な歴史的条件ベースライン(センサーごとのトレーニング分布からのサンプリング)は、どのTSFMよりも優れた遷移カバレッジを実現するが、全体的な精度ははるかに悪い。
本稿では,TSFM予測と歴史的分布知識を組み合わせたポストホック法であるバイモーダル混合拡張法(BMA)を提案し,TSFMの精度を保ちながら,歴史的ベースラインの遷移カバレッジにアプローチする。
以上の結果から,TSFMベンチマークでは,メトリクスを隠蔽するサーフェールをサーフェール評価に組み込むことが示唆された。
関連論文リスト
- First-Order Trajectory Matching: Fast Ensemble Predictions of Chaotic, Turbulent, Stochastic Systems [9.32065750652415]
系の軌道から一階局所輸送確率質量を学習する代理モデルである一階軌道マッチング(FTM)を導入する。
軌道の対称的な一階運動をマッチングすることにより、FTMは確率電流速度を学習し、その流れはアンサンブル平均に一致する時間限界を保存する。
論文 参考訳(メタデータ) (2026-06-09T17:29:05Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳(メタデータ) (2026-05-01T17:59:59Z) - Bayes-MICE: A Bayesian Approach to Multiple Imputation for Time Series Data [3.503370263836711]
MICE(Multiple Imputation by Chained Equations)は、条件付き仕様によって欠落した値を出力する。
我々はベイズフレームワーク(Bayes-MICE)を用いてMICEを拡張し、マルコフ連鎖モンテカルロサンプリングによる欠落値のインプットを行う。
実世界の2つのデータセットを用いてベイズ・マイス法の評価を行った。
論文 参考訳(メタデータ) (2026-03-28T05:34:47Z) - Echo State Networks for Time Series Forecasting: Hyperparameter Sweep and Benchmarking [51.56484100374058]
我々は、完全に自動で純粋にフィードバック駆動のESNが、広く使われている統計的予測手法の代替となるかどうかを評価する。
予測精度は、MASEとsMAPEを用いて測定され、ドリフトや季節予測、統計モデルといった単純なベンチマークと比較される。
論文 参考訳(メタデータ) (2026-02-03T16:01:22Z) - Demystifying Transition Matching: When and Why It Can Beat Flow Matching [32.910877210043914]
Flow Matching (FM)は多くの最先端の生成モデルを支える。
近年の結果, 遷移マッチング (TM) はより少ないサンプリングステップで高い品質を達成できることが示唆された。
論文 参考訳(メタデータ) (2025-10-20T18:11:29Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳(メタデータ) (2025-09-27T20:57:48Z) - Time Series Foundation Models are Flow Predictors [4.315451628809687]
本研究では, 時系列基礎モデル(TSFM)の有効性を, モイライとタイムズFMに着目して評価した。
Bike NYC、Taxi Beijing、およびスペイン国内ODフローの3つの実世界のモビリティデータセットを評価する。
論文 参考訳(メタデータ) (2025-07-01T16:51:16Z) - FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。
非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。
条件設定では、太陽予測において優れた性能を達成している。
論文 参考訳(メタデータ) (2024-11-12T03:03:23Z) - Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。
与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文 参考訳(メタデータ) (2020-03-02T09:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。