論文の概要: Online Calibration of Deep Learning Sub-Models for Hybrid Numerical
Modeling Systems
- arxiv url: http://arxiv.org/abs/2311.10665v1
- Date: Fri, 17 Nov 2023 17:36:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-20 13:55:19.992164
- Title: Online Calibration of Deep Learning Sub-Models for Hybrid Numerical
Modeling Systems
- Title（参考訳）: ハイブリッド数値モデリングシステムのためのディープラーニングサブモデルのオンライン校正
- Authors: Said Ouala, Bertrand Chapron, Fabrice Collard, Lucile Gaultier, Ronan
Fablet
- Abstract要約: 本稿では,ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。
オイラー勾配近似(Euler Gradient Approximation)のEGA(Euler Gradient Approximation)と呼ばれる手法は、無限に小さな時間ステップの極限における正確な勾配に収束することを示した。
その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンド・ツー・エンドのオンライン学習の可能性を強調した。
- 参考スコア（独自算出の注目度）: 34.50407690251862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence and deep learning are currently reshaping numerical
simulation frameworks by introducing new modeling capabilities. These
frameworks are extensively investigated in the context of model correction and
parameterization where they demonstrate great potential and often outperform
traditional physical models. Most of these efforts in defining hybrid dynamical
systems follow {offline} learning strategies in which the neural
parameterization (called here sub-model) is trained to output an ideal
correction. Yet, these hybrid models can face hard limitations when defining
what should be a relevant sub-model response that would translate into a good
forecasting performance. End-to-end learning schemes, also referred to as
online learning, could address such a shortcoming by allowing the deep learning
sub-models to train on historical data. However, defining end-to-end training
schemes for the calibration of neural sub-models in hybrid systems requires
working with an optimization problem that involves the solver of the physical
equations. Online learning methodologies thus require the numerical model to be
differentiable, which is not the case for most modeling systems. To overcome
this difficulty and bypass the differentiability challenge of physical models,
we present an efficient and practical online learning approach for hybrid
systems. The method, called EGA for Euler Gradient Approximation, assumes an
additive neural correction to the physical model, and an explicit Euler
approximation of the gradients. We demonstrate that the EGA converges to the
exact gradients in the limit of infinitely small time steps. Numerical
experiments are performed on various case studies, including prototypical
ocean-atmosphere dynamics. Results show significant improvements over offline
learning, highlighting the potential of end-to-end online learning for hybrid
modeling.
- Abstract（参考訳）: 人工知能とディープラーニングは現在、新しいモデリング機能を導入して、数値シミュレーションフレームワークを再構築している。
これらのフレームワークは、モデル修正やパラメータ化の文脈で広く研究されており、大きなポテンシャルを示し、しばしば従来の物理モデルよりも優れている。
ハイブリッド力学系の定義におけるこれらの取り組みの多くは、神経パラメータ化(ここではサブモデルと呼ばれる)を訓練して理想的な補正を出力する学習戦略に従う。
しかし、これらのハイブリッドモデルは、適切なサブモデル応答を定義するときに厳しい制限に直面する可能性がある。
エンドツーエンドの学習スキームは、オンライン学習とも呼ばれ、ディープラーニングサブモデルが履歴データをトレーニング可能にすることで、このような欠点に対処することができる。
しかし、ハイブリッドシステムにおけるニューラルサブモデルの校正のためのエンドツーエンドトレーニングスキームを定義するには、物理方程式の解法を含む最適化問題に取り組む必要がある。
したがって、オンライン学習手法は、ほとんどのモデリングシステムではそうではない数値モデルを微分可能である必要がある。
この難しさを克服し、物理モデルの差別化を回避すべく、ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。
EGA for Euler Gradient Approximationと呼ばれるこの方法は、物理モデルに付加的なニューラル補正と、勾配の明示的なオイラー近似を仮定する。
我々は、EGAが無限に小さな時間ステップの極限における正確な勾配に収束することを実証する。
原始型海洋大気力学を含む様々なケーススタディで数値実験を行った。
その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンドツーエンドオンライン学習の可能性を強調した。
関連論文リスト
- Hybrid Adaptive Modeling using Neural Networks Trained with Nonlinear Dynamics Based Features [5.652228574188242]
本稿では,非線形動的モデリングから情報を明らかにし,それをデータベースモデルに組み込むことにより,標準手法から逸脱する新しいアプローチを提案する。
摂動法による非線形力学現象を明示的に取り入れることにより、予測能力はブルートフォース数値シミュレーションから得られた知識と比較してより現実的で洞察力が高い。
論文 参考訳（メタデータ） (2025-01-21T02:38:28Z) - Adjoint-based online learning of two-layer quasi-geostrophic baroclinic turbulence [1.0985060632689176]
ますます人気が高まっているアプローチは、パラメータ化のための機械学習アプローチを活用すること、解決された状態と流体系における欠落したフィードバックの間のマップの回帰を教師付き学習タスクとして利用することである。
本稿では,バロクリニック乱流の学習とパラメータ化のための訓練段階における流体力学モデルを含むオンラインアプローチについて検討する。
2つのオンラインアプローチが検討されている: 完全随伴に基づくオンラインアプローチは、従来の随伴最適化アプローチに関連しており、微分可能な動的モデルを必要とする。
論文 参考訳（メタデータ） (2024-11-21T13:15:01Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。
従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。
本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
論文 参考訳（メタデータ） (2024-07-08T17:09:39Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳（メタデータ） (2024-01-16T14:58:21Z) - Hybrid additive modeling with partial dependence for supervised regression and dynamical systems forecasting [5.611231523622238]
部分依存に基づく新たなハイブリッドトレーニング手法を導入し,複雑な正規化の必要性を排除した。
合成問題と実回帰問題の両方において、そのようなハイブリッドモデルを訓練するためのいくつかのアプローチを比較する。
ツリーベースモデルや人工ニューラルネットワークなど、さまざまなタイプの機械学習モデルで実験が実施されている。
論文 参考訳（メタデータ） (2023-07-05T12:13:56Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-28T12:02:27Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳（メタデータ） (2021-02-15T19:56:48Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳（メタデータ） (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。