論文の概要: Gradient-free online learning of subgrid-scale dynamics with neural
emulators
- arxiv url: http://arxiv.org/abs/2310.19385v3
- Date: Thu, 7 Dec 2023 19:00:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 18:02:58.956459
- Title: Gradient-free online learning of subgrid-scale dynamics with neural
emulators
- Title(参考訳): ニューラルエミュレータを用いたサブグリッドスケールダイナミックスのグラディエントフリーオンライン学習
- Authors: Hugo Frezat, Ronan Fablet, Guillaume Balarac, Julien Le Sommer
- Abstract要約: 機械学習に基づくサブグリッドパラメトリゼーションをオンラインでトレーニングするための汎用アルゴリズムを提案する。
我々は、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
- 参考スコア(独自算出の注目度): 5.77219319717314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a generic algorithm to train machine learning-based
subgrid parametrizations online, i.e., with a posteriori loss functions, but
for non-differentiable numerical solvers. The proposed approach leverages a
neural emulator to approximate the reduced state-space solver, which is then
used to allow gradient propagation through temporal integration steps. We apply
this methodology on a single layer quasi-geostrophic system with topography,
known to be highly unstable in around 500 temporal iterations with offline
strategies. Using our algorithm, we are able to train a parametrization that
recovers most of the benefits of online strategies without having to compute
the gradient of the original solver. It is demonstrated that training the
neural emulator and parametrization components separately with different loss
quantities is necessary in order to minimize the propagation of approximation
biases. Experiments on emulator architectures with different complexities also
indicates that emulator performance is key in order to learn an accurate
parametrization. This work is a step towards learning parametrization with
online strategies for realistic climate models.
- Abstract(参考訳): 本稿では,機械学習に基づくサブグリッドパラメトリゼーションをオンライン上で学習する汎用アルゴリズムを提案する。
提案手法はニューラルエミュレータを用いて減らされた状態空間解法を近似し、時間積分ステップによる勾配伝播を可能にする。
本研究では, この手法を, オフライン戦略による500回程度の時間反復で高度に不安定な地形を持つ単一層準地栄養系に適用する。
アルゴリズムを用いて、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
近似バイアスの伝播を最小化するために,異なる損失量で神経エミュレータとパラメトリゼーション成分を別々に訓練する必要があることを実証した。
複雑度が異なるエミュレータアーキテクチャの実験も、正確なパラメトリゼーションを学習するためにエミュレータの性能が重要であることを示している。
この研究は、現実的な気候モデルのためのオンライン戦略でパラメトリゼーションを学ぶためのステップである。
関連論文リスト
- Hierarchical deep learning-based adaptive time-stepping scheme for
multiscale simulations [0.0]
本研究では,ディープニューラルネットワークを用いたマルチスケール問題のシミュレーション手法を提案する。
ニューラルネットワークのタイムステッパーの階層的学習を活用することで、タイムスケールにわたる動的システムフローマップの近似に時間ステップを適用する。
このアプローチは、固定ステップニューラルネットワークソルバと比較して計算時間が少なくて最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-11-10T09:47:58Z) - Smoothed Online Learning for Prediction in Piecewise Affine Systems [54.98643421343919]
本稿では,最近開発されたスムーズなオンライン学習フレームワークに基づく。
これは、断片的なアフィン系における予測とシミュレーションのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-01-26T15:54:14Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳(メタデータ) (2022-05-11T17:59:51Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳(メタデータ) (2022-04-14T17:46:26Z) - Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。
画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
論文 参考訳(メタデータ) (2021-06-22T05:06:56Z) - Analytically Tractable Bayesian Deep Q-Learning [0.0]
我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。
我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
論文 参考訳(メタデータ) (2021-06-21T13:11:52Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z) - Randomized Automatic Differentiation [22.95414996614006]
我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。
RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。
本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
論文 参考訳(メタデータ) (2020-07-20T19:03:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。