論文の概要: Dynamical errors in machine learning forecasts

• arxiv url: http://arxiv.org/abs/2504.11074v2
• Date: Wed, 16 Apr 2025 08:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 11:15:21.360682
• Title: Dynamical errors in machine learning forecasts
• Title（参考訳）: 機械学習予測における動的誤差
• Authors: Zhou Fang, Gianmarco Mengaldo,
• Abstract要約: 本稿では,MAE や MSE などの標準予測誤差指標と基礎システムの動的特性との関係について検討する。 以上の結果から,より高い$d$と高い$theta$の州では,予測誤差が大きくなる傾向が示唆された。 予測値に対する$d$と$theta$の差を計測する動的指標に基づく誤差指標を提案する。
• 参考スコア（独自算出の注目度）: 2.1638817206926855
• License:
• Abstract: In machine learning forecasting, standard error metrics such as mean absolute error (MAE) and mean squared error (MSE) quantify discrepancies between predictions and target values. However, these metrics do not directly evaluate the physical and/or dynamical consistency of forecasts, an increasingly critical concern in scientific and engineering applications. Indeed, a fundamental yet often overlooked question is whether machine learning forecasts preserve the dynamical behavior of the underlying system. Addressing this issue is essential for assessing the fidelity of machine learning models and identifying potential failure modes, particularly in applications where maintaining correct dynamical behavior is crucial. In this work, we investigate the relationship between standard forecasting error metrics, such as MAE and MSE, and the dynamical properties of the underlying system. To achieve this goal, we use two recently developed dynamical indices: the instantaneous dimension ($d$), and the inverse persistence ($\theta$). Our results indicate that larger forecast errors -- e.g., higher MSE -- tend to occur in states with higher $d$ (higher complexity) and higher $\theta$ (lower persistence). To further assess dynamical consistency, we propose error metrics based on the dynamical indices that measure the discrepancy of the forecasted $d$ and $\theta$ versus their correct values. Leveraging these dynamical indices-based metrics, we analyze direct and recursive forecasting strategies for three canonical datasets -- Lorenz, Kuramoto-Sivashinsky equation, and Kolmogorov flow -- as well as a real-world weather forecasting task. Our findings reveal substantial distortions in dynamical properties in ML forecasts, especially for long forecast lead times or long recursive simulations, providing complementary information on ML forecast fidelity that can be used to improve ML models.
• Abstract（参考訳）: 機械学習予測では、平均絶対誤差(MAE)や平均二乗誤差(MSE)といった標準誤差メトリクスが、予測と目標値の相違を定量化する。 しかしながら、これらの指標は予測の物理的および/または動的整合性を直接評価するわけではなく、科学や工学の応用においてますます重要な関心事となっている。 実際、基本的に見過ごされがちな疑問は、機械学習の予測が基礎となるシステムの動的挙動を保存するかどうかである。 この問題に対処することは、マシンラーニングモデルの忠実さを評価し、潜在的な障害モードを特定するために不可欠である。 本研究では,MAE や MSE などの標準予測誤差指標と基礎システムの動的特性との関係について検討する。 この目的を達成するために、最近開発された2つの動的指標、即時次元($d$)と逆持続($\theta$)を使います。 その結果、より大きい予測誤差(例えば、より高いMSE)は、より高い$d$(高い複雑さ)と高い$\theta$(より低い永続性)の状態で発生する傾向が示唆された。 動的整合性をさらに評価するために,予測された$d$と$\theta$とそれらの正しい値との差を測定する動的指標に基づく誤差指標を提案する。 これらの動的指標に基づくメトリクスを活用することで、ロレンツ、倉本-シヴァシンスキー方程式、コルモゴロフフローという3つの標準データセットの直接的および再帰的な予測戦略と、実際の天気予報タスクを分析します。 特に長期予測リード時間や長期再帰シミュレーションでは,MLモデルの改善に使用できるML予測忠実度を補完する情報を提供する。

関連論文リスト

• GARCH-Informed Neural Networks for Volatility Prediction in Financial Markets [0.0]
  マーケットのボラティリティを計測し、予測する新しいハイブリッドなDeep Learningモデルを提案する。 他の時系列モデルと比較すると、GINNは決定係数(R2$)、平均正方形誤差(MSE)、平均絶対誤差(MAE)の点で優れたサンプル外予測性能を示した。
  論文  参考訳（メタデータ） (2024-09-30T23:53:54Z)
• Predictability Analysis of Regression Problems via Conditional Entropy Estimations [1.8913544072080544]
  回帰問題の予測可能性を評価するために,条件付きエントロピー推定器を開発した。 合成および実世界のデータセットの実験は、これらの推定器の堅牢性と有用性を示している。
  論文  参考訳（メタデータ） (2024-06-06T07:59:19Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• From Reactive to Proactive Volatility Modeling with Hemisphere Neural Networks [0.0]
  我々は,新しいニューラルネットワークアーキテクチャを用いて,マクロ経済密度予測のための最大推定値(MLE)を再活性化する。 ヘミスフィアニューラルネットワーク(HNN)は、可能時の主指標に基づく積極的なボラティリティ予測と、必要時の過去の予測誤差の大きさに基づく反応性ボラティリティ予測を提供する。
  論文  参考訳（メタデータ） (2023-11-27T21:37:50Z)
• Ensemble models outperform single model uncertainties and predictions for operator-learning of hypersonic flows [43.148818844265236]
  限られた高忠実度データに基づく科学機械学習(SciML)モデルのトレーニングは、これまで見たことのない状況に対する行動の迅速な予測に1つのアプローチを提供する。 高忠実度データは、探索されていない入力空間におけるSciMLモデルのすべての出力を検証するために、それ自体が限られた量である。 我々は3つの異なる不確実性メカニズムを用いてDeepONetを拡張した。
  論文  参考訳（メタデータ） (2023-10-31T18:07:29Z)
• Variance of ML-based software fault predictors: are we really improving fault prediction? [0.3222802562733786]
  我々は、最先端の故障予測手法のばらつきを実験的に分析する。 我々は,クラス毎の精度測定値において最大10.10%のばらつきを観測した。
  論文  参考訳（メタデータ） (2023-10-26T09:31:32Z)
• Towards Long-Term predictions of Turbulence using Neural Operators [68.8204255655161]
  機械学習を用いて乱流シミュレーションのための低次/サロゲートモデルを開発することを目的としている。 異なるモデル構造が解析され、U-NET構造は標準FNOよりも精度と安定性が良い。
  論文  参考訳（メタデータ） (2023-07-25T14:09:53Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Bayesian Bilinear Neural Network for Predicting the Mid-price Dynamics in Limit-Order Book Markets [84.90242084523565]
  伝統的な時系列計量法は、価格力学を駆動する多層相互作用の真の複雑さを捉えることができないことが多い。 最先端の2次最適化アルゴリズムを採用することで、時間的注意を払ってベイジアン双線形ニューラルネットワークを訓練する。 予測分布を用いて推定パラメータとモデル予測に関連する誤差や不確実性を解析することにより、ベイズモデルと従来のML代替品を徹底的に比較する。
  論文  参考訳（メタデータ） (2022-03-07T18:59:54Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。