論文の概要: Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

• arxiv url: http://arxiv.org/abs/2610.02608v1
• Date: Fri, 02 Oct 2026 00:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.130376
• Title: Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing
• Title（参考訳）: シナリオ付きストレステストが必要な時系列予測ベンチマーク
• Abstract要約: 時系列予測(TSF)は、輸送、エネルギー、金融、医療、インフラの意思決定をますます推進している。 標準ベンチマークは低いホールドアウト誤差を報いるが、ロバストネスの研究は一般的にガウスノイズ、ランダムマスキング、あるいは有界対向摂動の失敗を減少させる。 各テストインスタンスは、セマンティックシナリオ、明示的な障害演算子、測定可能な難易度とともに、過去の入力と将来のターゲットを含むべきである。
• 参考スコア（独自算出の注目度）: 17.88772733208531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series forecasting (TSF) increasingly drives decisions in transportation, energy, finance, healthcare, and infrastructure, yet current evaluation remains overly narrow: standard benchmarks reward low held-out error, while robustness studies typically reduce failure to Gaussian noise, random masking, or bounded adversarial perturbations. This obscures the real failure modes of deployed forecasting systems. Input-side anomalies are not merely noisier inputs: they often reflect structured events that alter temporal dynamics, break cross-variable dependencies, induce regime shifts, or propagate from faulty sensors to downstream decisions. These semantic, causal, and system-level failures cannot be faithfully captured by i.i.d. perturbations alone. The rise of TSF foundation models makes this evaluation gap more urgent, as unauditable pretraining corpora make held-out generalization increasingly unreliable. We therefore advocate scenario-grounded stress testing. Each test instance should include historical inputs and future targets, together with a semantic scenario, an explicit failure operator, and a measurable difficulty level. This shift makes evaluation interpretable, attributable, and deployment-relevant and friendly, enabling the community to ask not only which model is accurate, but under what conditions it fails and why.
• Abstract（参考訳）: 時系列予測(TSF)は、輸送、エネルギー、金融、医療、インフラの意思決定をますます推進するが、現在の評価は過度に狭くなっている。 これは、デプロイされた予測システムの実際の障害モードを曖昧にする。 入力側異常は単にノイズの多い入力ではなく、時間的ダイナミクスを変えたり、異種依存関係を壊したり、状態シフトを誘発したり、故障したセンサーから下流の判断へと伝播する構造化イベントを反映することが多い。 これらの意味論的、因果的、システムレベルの失敗は、すなわち摂動だけでは忠実に捉えられない。 TSFファウンデーションモデルの台頭により、この評価ギャップはより緊急になり、予測不可能な事前学習コーパスによって一般化はますます信頼できないものとなる。 したがって、シナリオベースストレステストが推奨される。 各テストインスタンスは、セマンティックシナリオ、明示的な障害演算子、測定可能な困難レベルとともに、過去の入力と将来のターゲットを含むべきである。 このシフトは、評価を解釈可能で、帰属可能で、デプロイ関連で、フレンドリなものにします。コミュニティは、どのモデルが正確であるかだけでなく、どのような条件で、なぜ失敗するのかを尋ねることができます。

関連論文リスト

• The Geometry of Flow-Matching Uncertainty: A Cost-free Uncertainty Proxy and Its Application in Flow-based VLA Failure Detection [40.15880250907137]
  フローマッチング(FM)は、現代のエンボディドモデルにおいて一般的なアクションヘッドパラダイムとなっている。 理想的なアフィン等方性収縮場からの逸脱として不確実性を示す。 我々は,1つの前方通過路からの軌道の曲げを測定するコストフリーの不確実性プロキシであるデノナイジングアクセラレーション(mathrmaccel$)を導入する。
  論文  参考訳（メタデータ） (2026-07-30T09:44:46Z)
• TS-Fault: Benchmarking Time Series Forecasters Against Structural Faults [22.88447833683736]
  時系列予測(TSF)は、エネルギー、輸送、金融、医療の連続的な決定を支えている。 TSFモデルは、デプロイされた信頼性を予測するという暗黙の仮定の下で、クリーンなホールトアウトデータ上の1つの数でほぼ普遍的にランク付けされる。 TS-Faultは、制御可能な意味的難易度を持つ明示的でパラメータ化された障害シナリオの下で予測モデルを評価するベンチマークである。
  論文  参考訳（メタデータ） (2026-06-16T23:15:20Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
  ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。 ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
  論文  参考訳（メタデータ） (2026-02-13T14:33:13Z)
• "I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time [1.570719611178015]
  大規模言語モデル(LLM)の推論失敗は通常、世代末にのみ測定されるが、プロセスレベルのブレークダウンとして多くの障害が現れる。 連続的なステップ分布シフト(JSD)と不確実性(エントロピー)を組み合わせた単純な不安定信号を定義する。 GSM8KとHotpotQA全体で、不安定性はAUCで間違った解を予測し、単調バケットレベルの精度を低下させる。
  論文  参考訳（メタデータ） (2026-02-02T22:11:25Z)
• time2time: Causal Intervention in Hidden States to Simulate Rare Events in Time Series Foundation Models [7.400285974510125]
  我々は,ある事象の統計モーメントを他の事象に付与することで,隠れた状態を操作する因果的介入である移植活性化を導入する。 モデルが事象重大性の段階的概念を符号化し、潜在ベクトルノルムはシステム的ショックの大きさに直接関連していることがわかった。 本研究は, モデル予測を規定する潜在概念空間の証拠として, ポストホック帰属から直接因果介入への解釈可能性のシフトが示唆された。
  論文  参考訳（メタデータ） (2025-09-06T18:28:20Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• Error-quantified Conformal Inference for Time Series [55.11926160774831]
  時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。 量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。 ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
  論文  参考訳（メタデータ） (2025-02-02T15:02:36Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。