Fugu-MT 論文翻訳(概要): Beyond MSE: Rethinking the Evaluation Metric and Benchmarking for Irregular Time Series Forecasting

論文の概要: Beyond MSE: Rethinking the Evaluation Metric and Benchmarking for Irregular Time Series Forecasting

arxiv url: http://arxiv.org/abs/2608.17293v1
Date: Tue, 18 Aug 2026 02:47:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.188425
Title: Beyond MSE: Rethinking the Evaluation Metric and Benchmarking for Irregular Time Series Forecasting
Title（参考訳）: MSEを超えて:不規則な時系列予測のための評価基準とベンチマークを再考する
Abstract要約: 既存のベンチマークでは、評価基準として平均二乗誤差(MSE)を用いるのが一般的である。 MSEはモデル予測だけでなく,サンプル特異なサンプリング分布によっても決定される。この問題に対処するため、我々はContinuous-time Squared Error (CSE)を提案する。実験により、CSEはMSEよりも正確に連続的なリスクを回復できることが示された。
参考スコア（独自算出の注目度）: 8.684367575006542
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing research on irregular time-series forecasting has primarily focused on model design, while evaluation metrics remain insufficiently studied. Existing benchmarks typically use mean squared error (MSE) as the evaluation metric. We show that, in irregular forecasting, MSE is determined not only by the model prediction but also by the sample-specific timestamp sampling distributions, leading to a biased assessment of the models' continuous-time predictive performance. To address this issue, we propose the Continuous-time Squared Error (CSE), which employs importance weighting to eliminate the influence of the timestamp sampling distributions. We further theoretically prove that CSE's asymptotic estimation error with respect to continuous-time risk is no greater than that of MSE. Finally, we construct a systematic benchmark covering synthetic, semi-synthetic, and eight real-world datasets to validate the effectiveness of CSE and systematically evaluate models' continuous-time predictive performance. Experiments show that CSE can recover continuous-time risk more accurately than MSE, while relying solely on MSE may not fully reflect models' continuous-time predictive performance in real-world scenarios. Our code can be obtained at https://github.com/hnu-vis/ITS-Bench.
Abstract（参考訳）: 不規則な時系列予測に関する既存の研究は、主にモデル設計に焦点を当てているが、評価指標は十分に研究されていない。既存のベンチマークでは、評価基準として平均二乗誤差(MSE)を用いるのが一般的である。不規則な予測では、MSEはモデル予測だけでなく、サンプル特異的なタイムスタンプサンプリング分布によって決定され、モデルの連続時間予測性能の偏りが生じる。この問題に対処するために,重要重み付けを用いた連続時間正方形誤差(CSE)を提案し,タイムスタンプサンプリング分布の影響を排除した。さらに, CSE の連続的リスクに対する漸近的推定誤差が MSE のそれより大きいことを理論的に証明する。最後に、CSEの有効性を検証し、連続時間予測性能を体系的に評価するために、合成、半合成、および8つの実世界のデータセットをカバーする体系的なベンチマークを構築した。実験によると、CSEはMSEよりも正確な継続的時間リスクを回復できるが、MSEのみに依存することは、実世界のシナリオにおけるモデルの継続的時間予測性能を完全に反映しない可能性がある。私たちのコードはhttps://github.com/hnu-vis/ITS-Benchで取得できます。

関連論文リスト

Latent-Regime Bias Auditing for Volatility Forecasting [0.44333156307871585]
本稿では,潜在市場体制全体でのボラティリティ予測が信頼性を維持しているかどうかを評価するためのモデル非依存型監査フレームワークを提案する。我々は、市場状態のウィンドウの時系列表現を学習し、トレーニング情報のみを用いてレジームに分類し、アグリゲーション予測行動とレジーム条件バイアス、テール・アンダープレディション、そして過小評価に敏感な経済損失を比較した。
論文参考訳（メタデータ） (2026-08-03T02:09:39Z)
Expectations vs. Realities: The Cost of MSE-Optimal Forecasting Under Conditional Uncertainty [1.2489632787815885]
多段階時系列予測(MSF)は平均二乗誤差(MSE)などのポイントワイド誤差指標を用いて一般的に評価される。これは条件的不確実性の下では誤解を招く可能性を示し、条件的期待はより長い地平線における典型的な実効値とは無関係となる。これにより、MSF評価における点精度と限界リアリズムの基本的なモデルに依存しないトレードオフが確立される。
論文参考訳（メタデータ） (2026-06-03T01:50:32Z)
LEAF: A Living Benchmark for Event-Augmented Forecasting [78.94019460534442]
LEAFは、イベント拡張予測タスクの最初の生きたベンチマークである。我々は最先端のプロプライエタリかつオープンウェイトなLLMを評価した。 LLMは、より予測し易いと自信を持って判断し、より優れたパフォーマンスを実現する。
論文参考訳（メタデータ） (2026-05-09T03:17:59Z)
Beyond MSE: Ordinal Cross-Entropy for Probabilistic Time Series Forecasting [11.320830769077027]
現在のディープラーニングベースの予測モデルは、回帰モデリングにMean Squared Error(MSE)損失関数を用いる。時系列予測のための新しい順序分類手法であるOCE-TSを提案する。 MSE と Mean Absolute Error (MAE) を評価指標として,OCE-TS がベンチマークモデルより一貫して優れていることを示す。
論文参考訳（メタデータ） (2025-11-13T11:14:24Z)
Time Series Foundation Models: Benchmarking Challenges and Requirements [0.0]
時系列基礎モデル(TSFM)は、時系列予測の新しいパラダイムである。 TSFMの評価は、より広範なトレーニングセットと同様に、整合性ベンチマークデータの確保がより困難になるため、難しい。
論文参考訳（メタデータ） (2025-10-15T15:15:45Z)
Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文参考訳（メタデータ） (2025-09-27T20:57:48Z)
Evidential time-to-event prediction with calibrated uncertainty quantification [12.446406577462069]
Time-to-event分析は、臨床予後と治療勧告に関する洞察を提供する。本稿では,時間とイベントの予測に特化して設計された明らかな回帰モデルを提案する。我々のモデルは正確かつ信頼性の高い性能を提供し、最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2024-11-12T15:06:04Z)
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文参考訳（メタデータ） (2023-10-25T02:37:51Z)
The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文参考訳（メタデータ） (2022-11-11T19:34:17Z)
Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting [98.57851612518758]
確率的時系列予測は、その歴史に基づいて将来の分布を推定する。本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
論文参考訳（メタデータ） (2021-01-31T06:49:33Z)
A Worrying Analysis of Probabilistic Time-series Models for Sales Forecasting [10.690379201437015]
確率的時系列モデルは、不確実性の下で最適な決定を下すのに役立つため、予測分野で人気がある。販売予測のための3つの顕著な確率的時系列モデルの性能解析を行った。
論文参考訳（メタデータ） (2020-11-21T03:31:23Z)
Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。