論文の概要: Online Calibration of Deep Learning Sub-Models for Hybrid Numerical
Modeling Systems
- arxiv url: http://arxiv.org/abs/2311.10665v1
- Date: Fri, 17 Nov 2023 17:36:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-20 13:55:19.992164
- Title: Online Calibration of Deep Learning Sub-Models for Hybrid Numerical
Modeling Systems
- Title(参考訳): ハイブリッド数値モデリングシステムのためのディープラーニングサブモデルのオンライン校正
- Authors: Said Ouala, Bertrand Chapron, Fabrice Collard, Lucile Gaultier, Ronan
Fablet
- Abstract要約: 本稿では,ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。
オイラー勾配近似(Euler Gradient Approximation)のEGA(Euler Gradient Approximation)と呼ばれる手法は、無限に小さな時間ステップの極限における正確な勾配に収束することを示した。
その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンド・ツー・エンドのオンライン学習の可能性を強調した。
- 参考スコア(独自算出の注目度): 34.50407690251862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence and deep learning are currently reshaping numerical
simulation frameworks by introducing new modeling capabilities. These
frameworks are extensively investigated in the context of model correction and
parameterization where they demonstrate great potential and often outperform
traditional physical models. Most of these efforts in defining hybrid dynamical
systems follow {offline} learning strategies in which the neural
parameterization (called here sub-model) is trained to output an ideal
correction. Yet, these hybrid models can face hard limitations when defining
what should be a relevant sub-model response that would translate into a good
forecasting performance. End-to-end learning schemes, also referred to as
online learning, could address such a shortcoming by allowing the deep learning
sub-models to train on historical data. However, defining end-to-end training
schemes for the calibration of neural sub-models in hybrid systems requires
working with an optimization problem that involves the solver of the physical
equations. Online learning methodologies thus require the numerical model to be
differentiable, which is not the case for most modeling systems. To overcome
this difficulty and bypass the differentiability challenge of physical models,
we present an efficient and practical online learning approach for hybrid
systems. The method, called EGA for Euler Gradient Approximation, assumes an
additive neural correction to the physical model, and an explicit Euler
approximation of the gradients. We demonstrate that the EGA converges to the
exact gradients in the limit of infinitely small time steps. Numerical
experiments are performed on various case studies, including prototypical
ocean-atmosphere dynamics. Results show significant improvements over offline
learning, highlighting the potential of end-to-end online learning for hybrid
modeling.
- Abstract(参考訳): 人工知能とディープラーニングは現在、新しいモデリング機能を導入して、数値シミュレーションフレームワークを再構築している。
これらのフレームワークは、モデル修正やパラメータ化の文脈で広く研究されており、大きなポテンシャルを示し、しばしば従来の物理モデルよりも優れている。
ハイブリッド力学系の定義におけるこれらの取り組みの多くは、神経パラメータ化(ここではサブモデルと呼ばれる)を訓練して理想的な補正を出力する学習戦略に従う。
しかし、これらのハイブリッドモデルは、適切なサブモデル応答を定義するときに厳しい制限に直面する可能性がある。
エンドツーエンドの学習スキームは、オンライン学習とも呼ばれ、ディープラーニングサブモデルが履歴データをトレーニング可能にすることで、このような欠点に対処することができる。
しかし、ハイブリッドシステムにおけるニューラルサブモデルの校正のためのエンドツーエンドトレーニングスキームを定義するには、物理方程式の解法を含む最適化問題に取り組む必要がある。
したがって、オンライン学習手法は、ほとんどのモデリングシステムではそうではない数値モデルを微分可能である必要がある。
この難しさを克服し、物理モデルの差別化を回避すべく、ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。
EGA for Euler Gradient Approximationと呼ばれるこの方法は、物理モデルに付加的なニューラル補正と、勾配の明示的なオイラー近似を仮定する。
我々は、EGAが無限に小さな時間ステップの極限における正確な勾配に収束することを実証する。
原始型海洋大気力学を含む様々なケーススタディで数値実験を行った。
その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンドツーエンドオンライン学習の可能性を強調した。
関連論文リスト
- Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - Semi-Supervised Learning of Dynamical Systems with Neural Ordinary
Differential Equations: A Teacher-Student Model Approach [10.20098335268973]
TS-NODEは、NODEで動的システムのモデリングを行うための、最初の半教師付きアプローチである。
複数の動的システムモデリングタスクにおいて,ベースラインのNeural ODEモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-10-19T19:17:12Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - Homotopy-based training of NeuralODEs for accurate dynamics discovery [0.0]
我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。
モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。
本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
論文 参考訳(メタデータ) (2022-10-04T06:32:45Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳(メタデータ) (2022-04-09T22:07:34Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳(メタデータ) (2022-02-17T07:56:46Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳(メタデータ) (2021-02-15T19:56:48Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳(メタデータ) (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。