論文の概要: Balancing Computational Efficiency and Forecast Error in Machine Learning-based Time-Series Forecasting: Insights from Live Experiments on Meteorological Nowcasting

• arxiv url: http://arxiv.org/abs/2309.15207v1
• Date: Tue, 26 Sep 2023 19:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 17:59:01.394300
• Title: Balancing Computational Efficiency and Forecast Error in Machine Learning-based Time-Series Forecasting: Insights from Live Experiments on Meteorological Nowcasting
• Title（参考訳）: 機械学習による時系列予測における計算効率と予測誤差のバランス:気象情報放送のライブ実験から
• Authors: Elin T\"ornquist, Wagner Costa Santos, Timothy Pogue, Nicholas Wingle, Robert A. Caulk
• Abstract要約: 本稿では,気象情報を用いた計算コストと予測誤差の関係について述べる。 5日間のライブ実験では、4000のデータソースがトレーニングのためにストリームされ、1時間あたり144モデルが参照された。 その結果, 分散ホライゾンを用いることで計算使用量を50%以上削減し, 誤差は0～15%増加した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning for time-series forecasting remains a key area of research. Despite successful application of many machine learning techniques, relating computational efficiency to forecast error remains an under-explored domain. This paper addresses this topic through a series of real-time experiments to quantify the relationship between computational cost and forecast error using meteorological nowcasting as an example use-case. We employ a variety of popular regression techniques (XGBoost, FC-MLP, Transformer, and LSTM) for multi-horizon, short-term forecasting of three variables (temperature, wind speed, and cloud cover) for multiple locations. During a 5-day live experiment, 4000 data sources were streamed for training and inferencing 144 models per hour. These models were parameterized to explore forecast error for two computational cost minimization methods: a novel auto-adaptive data reduction technique (Variance Horizon) and a performance-based concept drift-detection mechanism. Forecast error of all model variations were benchmarked in real-time against a state-of-the-art numerical weather prediction model. Performance was assessed using classical and novel evaluation metrics. Results indicate that using the Variance Horizon reduced computational usage by more than 50\%, while increasing between 0-15\% in error. Meanwhile, performance-based retraining reduced computational usage by up to 90\% while \emph{also} improving forecast error by up to 10\%. Finally, the combination of both the Variance Horizon and performance-based retraining outperformed other model configurations by up to 99.7\% when considering error normalized to computational usage.
• Abstract（参考訳）: 時系列予測のための機械学習は、依然として研究の重要な分野である。 多くの機械学習技術が成功したにもかかわらず、計算効率を予測エラーに関係させることは未検討の領域である。 本稿では,気象情報を用いた計算コストと予測誤差の関係を定量化するための実時間実験を通じて,この問題に対処する。 我々は,マルチ水平,低温,風速,雲の3変数の短期予測に,XGBoost,FC-MLP,Transformer,LSTMといった一般的な回帰手法を用いている。 5日間のライブ実験では、4000のデータソースがトレーニング用にストリーミングされ、1時間に144モデルを参照された。 これらのモデルは、新しい自動適応データ削減手法(分散地平線)と性能に基づく概念ドリフト検出機構の2つの計算コスト最小化手法の予測誤差を調べるためにパラメータ化された。 すべてのモデル変動の予測誤差は、最先端の気象予報モデルに対してリアルタイムにベンチマークされた。 パフォーマンスは古典的および新しい評価指標を用いて評価された。 その結果,分散地平線を用いた場合,計算量は50\%以上減少し,誤差は0～15\%に増加した。 一方、パフォーマンスベースのリトレーニングは計算使用量を最大90\%削減し、一方 \emph{also} は予測エラーを最大10\%削減した。 最後に、分散地平線とパフォーマンスベースのリトレーニングの組み合わせは、計算使用量に正規化されたエラーを考えると、他のモデル構成を最大99.7\%上回った。

関連論文リスト

• Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
  本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。 具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。 我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-22T16:21:02Z)
• Data Assimilation with Machine Learning Surrogate Models: A Case Study with FourCastNet [10.773673764125439]
  本稿では,部分的・雑音的な観測を補足した機械学習サロゲートを用いたオンライン天気予報について検討する。 我々は、サロゲートの長期間の不安定さにもかかわらず、フィルタリング推定が長期間の地平線で正確であることを実証的に証明し、理論的に正当化する。
  論文  参考訳（メタデータ） (2024-05-21T20:06:12Z)
• CaFA: Global Weather Forecasting with Factorized Attention on Sphere [7.687215328455751]
  本稿では, この問題を緩和するために, 球面測地に適した因子化アテンションモデルを提案する。 提案モデルの1.5円および0-7日のリードタイムにおける決定論的予測精度は、最先端のデータ駆動型機械学習天気予報モデルと同等である。
  論文  参考訳（メタデータ） (2024-05-12T23:18:14Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• SpectraNet: Multivariate Forecasting and Imputation under Distribution Shifts and Missing Data [40.21502451136054]
  SpectraNetは時系列予測モデルであり、最近の観測履歴に時間的ダイナミクスと相関関係を動的に推論する。 畳み込みニューラルネットワークは、学習した表現を、成分を逐次混合し、出力を精製することによってマッピングする。 提案手法は, 過去の観測を同時に予測し, 補間し, 生産システムを大幅に単純化することができる。
  論文  参考訳（メタデータ） (2022-10-22T18:07:31Z)
• SwinVRNN: A Data-Driven Ensemble Forecasting Model via Learned Distribution Perturbation [16.540748935603723]
  本研究では,SwinRNN予測器と摂動モジュールを組み合わせた天気予報モデルであるSwinVRNNを提案する。 SwinVRNNはECMWF統合予測システム(IFS)を2m温度と6時間総降水量で最大5日間のリードタイムで上回っている。
  論文  参考訳（メタデータ） (2022-05-26T05:11:58Z)
• Physics Informed Shallow Machine Learning for Wind Speed Prediction [66.05661813632568]
  イタリアの32カ所の標高10mの風速計から観測された大量の風のデータセットを分析した。 我々は、過去の風の履歴を用いて教師あり学習アルゴリズムを訓練し、その価値を将来予測する。 最適設計と性能は場所によって異なることがわかった。
  論文  参考訳（メタデータ） (2022-04-01T14:55:10Z)
• Adjusting for Autocorrelated Errors in Neural Networks for Time Series Regression and Forecasting [10.659189276058948]
  我々は,自己相関係数をモデルパラメータと組み合わせて学習し,自己相関誤差の補正を行う。 時系列回帰では,大規模な実験により,本手法がPrais-Winsten法より優れていることが示された。 実世界の幅広いデータセットを対象とした結果から,ほぼすべてのケースにおいて,本手法が性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T04:25:51Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。