論文の概要: Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization

• arxiv url: http://arxiv.org/abs/2211.05262v1
• Date: Wed, 9 Nov 2022 23:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 16:06:52.729892
• Title: Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization
• Title（参考訳）: ダイナミクスの安定化機械学習予測:ノイズとノイズに触発された正規化
• Authors: Alexander Wikner, Brian R. Hunt, Joseph Harvey, Michelle Girvan, Edward Ott
• Abstract要約: 近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
• 参考スコア（独自算出の注目度）: 58.720142291102135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that machine learning (ML) models can be trained to accurately forecast the dynamics of unknown chaotic dynamical systems. Such ML models can be used to produce both short-term predictions of the state evolution and long-term predictions of the statistical patterns of the dynamics (``climate''). Both of these tasks can be accomplished by employing a feedback loop, whereby the model is trained to predict forward one time step, then the trained model is iterated for multiple time steps with its output used as the input. In the absence of mitigating techniques, however, this technique can result in artificially rapid error growth, leading to inaccurate predictions and/or climate instability. In this article, we systematically examine the technique of adding noise to the ML model input during training as a means to promote stability and improve prediction accuracy. Furthermore, we introduce Linearized Multi-Noise Training (LMNT), a regularization technique that deterministically approximates the effect of many small, independent noise realizations added to the model input during training. Our case study uses reservoir computing, a machine-learning method using recurrent neural networks, to predict the spatiotemporal chaotic Kuramoto-Sivashinsky equation. We find that reservoir computers trained with noise or with LMNT produce climate predictions that appear to be indefinitely stable and have a climate very similar to the true system, while reservoir computers trained without regularization are unstable. Compared with other types of regularization that yield stability in some cases, we find that both short-term and climate predictions from reservoir computers trained with noise or with LMNT are substantially more accurate. Finally, we show that the deterministic aspect of our LMNT regularization facilitates fast hyperparameter tuning when compared to training with noise.
• Abstract（参考訳）: 近年の研究では、未知のカオス力学系のダイナミクスを正確に予測するために機械学習(ml)モデルを訓練できることが示されている。 このようなMLモデルは、状態進化の短期的な予測と、力学の統計的パターンの長期的な予測(``climate'')の両方に利用できる。 どちらのタスクもフィードバックループを用いることで達成でき、モデルが1回前に予測するようにトレーニングされた後、トレーニングされたモデルが複数の時間ステップに対して反復され、出力が入力として使用される。 しかし、緩和技術の欠如により、この技術は人工的に急速にエラーが増大し、不正確な予測や気候不安定につながる可能性がある。 本稿では,学習中のMLモデル入力に雑音を加える手法を,安定性の向上と予測精度の向上のために体系的に検討する。 さらに、トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。 本稿では,繰り返しニューラルネットワークを用いた機械学習手法である貯水池計算を用いて,時空間カオスである倉本・シヴァシンスキー方程式の予測を行う。 ノイズやLMNTで訓練された貯水池のコンピュータは、不確定に安定し、真のシステムと非常によく似た気候の気候を予測し、正規化せずに訓練された貯水池のコンピュータは不安定である。 いくつかのケースで安定をもたらす他のタイプの正規化と比較すると、雑音で訓練された貯水池コンピュータやLMNTによる短期および気候予測は、かなり正確である。 最後に、LMNT正則化の決定論的側面は、ノイズのあるトレーニングと比較して高速なハイパーパラメータチューニングを促進することを示す。

関連論文リスト

• Ensemble models outperform single model uncertainties and predictions for operator-learning of hypersonic flows [43.148818844265236]
  限られた高忠実度データに基づく科学機械学習(SciML)モデルのトレーニングは、これまで見たことのない状況に対する行動の迅速な予測に1つのアプローチを提供する。 高忠実度データは、探索されていない入力空間におけるSciMLモデルのすべての出力を検証するために、それ自体が限られた量である。 我々は3つの異なる不確実性メカニズムを用いてDeepONetを拡張した。
  論文  参考訳（メタデータ） (2023-10-31T18:07:29Z)
• Koopman Invertible Autoencoder: Leveraging Forward and Backward Dynamics for Temporal Modeling [13.38194491846739]
  我々は、Koopman Invertible Autoencoders (KIA) と呼ぶ、Koopman演算子理論に基づく新しい機械学習モデルを提案する。 KIAは、無限次元ヒルベルト空間における前方と後方のダイナミクスをモデル化することによって、システムの固有の特性を捉えている。 これにより,低次元表現を効率よく学習し,長期システムの挙動をより正確に予測することが可能になる。
  論文  参考訳（メタデータ） (2023-09-19T03:42:55Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Learning continuous models for continuous physics [94.42705784823997]
  本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。 本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
  論文  参考訳（メタデータ） (2022-02-17T07:56:46Z)
• Using scientific machine learning for experimental bifurcation analysis of dynamic systems [2.204918347869259]
  本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。 数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。 ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
  論文  参考訳（メタデータ） (2021-10-22T15:43:03Z)
• Data-driven method for real-time prediction and uncertainty quantification of fatigue failure under stochastic loading using artificial neural networks and Gaussian process regression [0.0]
  早期故障予測の方法は、工学、軍事、および市民の用途に不可欠です。 不確実性(UQ)は、リアルタイム意思決定の目的において重要である。
  論文  参考訳（メタデータ） (2021-03-11T13:57:08Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Short- and long-term prediction of a chaotic flow: A physics-constrained reservoir computing approach [5.37133760455631]
  乱流せん断流モデルにおける極端な事象や長期速度統計を時間精度で予測する,貯留層計算に基づく物理制約型機械学習手法を提案する。 両手法の組み合わせは, 乱流の自己持続過程モデルにおいて, 速度統計を正確に再現し, 極端な事象の発生と振幅を予測することができることを示す。
  論文  参考訳（メタデータ） (2021-02-15T12:29:09Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。