論文の概要: Gradient-free online learning of subgrid-scale dynamics with neural emulators
- arxiv url: http://arxiv.org/abs/2310.19385v4
- Date: Fri, 25 Oct 2024 13:07:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-28 13:33:16.813816
- Title: Gradient-free online learning of subgrid-scale dynamics with neural emulators
- Title（参考訳）: ニューラルエミュレータを用いたサブグリッドスケールダイナミックスのグラディエントフリーオンライン学習
- Authors: Hugo Frezat, Ronan Fablet, Guillaume Balarac, Julien Le Sommer,
- Abstract要約: 機械学習に基づくサブグリッドパラメトリゼーションをオンラインでトレーニングするための汎用アルゴリズムを提案する。
我々は、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
- 参考スコア（独自算出の注目度）: 5.283819482083864
- License:
- Abstract: In this paper, we propose a generic algorithm to train machine learning-based subgrid parametrizations online, i.e., with a posteriori loss functions, but for non-differentiable numerical solvers. The proposed approach leverages a neural emulator to approximate the reduced state-space solver, which is then used to allow gradient propagation through temporal integration steps. We apply this methodology on a single layer quasi-geostrophic system with topography, known to be highly unstable in around 500 temporal iterations with offline strategies. Using our algorithm, we are able to train a parametrization that recovers most of the benefits of online strategies without having to compute the gradient of the original solver. It is demonstrated that training the neural emulator and parametrization components separately with different loss quantities is necessary in order to minimize the propagation of approximation biases. Experiments on emulator architectures with different complexities also indicates that emulator performance is key in order to learn an accurate parametrization. This work is a step towards learning parametrization with online strategies for weather models.
- Abstract（参考訳）: 本稿では,機械学習に基づくサブグリッドパラメトリゼーションをオンラインでトレーニングする汎用アルゴリズムを提案する。
提案手法はニューラルエミュレータを用いて減らされた状態空間解法を近似し、時間積分ステップによる勾配伝播を可能にする。
本研究では, この手法を, オフライン戦略による500回程度の時間反復で高度に不安定であることが知られている, 地形を持つ単一層準地栄養系に適用する。
アルゴリズムを用いて、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
近似バイアスの伝播を最小化するためには、神経エミュレータとパラメトリゼーション成分を異なる損失量で別々に訓練する必要があることが示されている。
複雑度が異なるエミュレータアーキテクチャの実験も、正確なパラメトリゼーションを学習するためにエミュレータの性能が重要であることを示している。
この研究は、気象モデルのためのオンライン戦略でパラメトリゼーションを学ぶためのステップである。
関連論文リスト
- Hierarchical deep learning-based adaptive time-stepping scheme for
multiscale simulations [0.0]
本研究では,ディープニューラルネットワークを用いたマルチスケール問題のシミュレーション手法を提案する。
ニューラルネットワークのタイムステッパーの階層的学習を活用することで、タイムスケールにわたる動的システムフローマップの近似に時間ステップを適用する。
このアプローチは、固定ステップニューラルネットワークソルバと比較して計算時間が少なくて最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-11-10T09:47:58Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳（メタデータ） (2023-07-07T15:03:42Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-07T03:52:27Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳（メタデータ） (2022-04-14T17:46:26Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。
画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
論文 参考訳（メタデータ） (2021-06-22T05:06:56Z) - Analytically Tractable Bayesian Deep Q-Learning [0.0]
我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。
我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
論文 参考訳（メタデータ） (2021-06-21T13:11:52Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - Randomized Automatic Differentiation [22.95414996614006]
我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。
RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。
本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
論文 参考訳（メタデータ） (2020-07-20T19:03:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。