論文の概要: Jacobian-Enforced Neural Networks (JENN) for Improved Data Assimilation Consistency in Dynamical Models

• arxiv url: http://arxiv.org/abs/2412.01013v1
• Date: Mon, 02 Dec 2024 00:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:41:39.978807
• Title: Jacobian-Enforced Neural Networks (JENN) for Improved Data Assimilation Consistency in Dynamical Models
• Title（参考訳）: 動的モデルにおけるデータ同化整合性向上のためのヤコビアン強化ニューラルネットワーク(JENN)
• Authors: Xiaoxu Tian,
• Abstract要約: 機械学習ベースの天気モデルは正確な予測を生成する上で大きな可能性を示してきたが、データ同化タスクに適用した場合に苦労した。 本研究では、ニューラルネットワーク(NN)をエミュレートした力学系におけるDA整合性を高めるために設計された、Jacobian-Enforced Neural Network(JENN)フレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Machine learning-based weather models have shown great promise in producing accurate forecasts but have struggled when applied to data assimilation tasks, unlike traditional numerical weather prediction (NWP) models. This study introduces the Jacobian-Enforced Neural Network (JENN) framework, designed to enhance DA consistency in neural network (NN)-emulated dynamical systems. Using the Lorenz 96 model as an example, the approach demonstrates improved applicability of NNs in DA through explicit enforcement of Jacobian relationships. The NN architecture includes an input layer of 40 neurons, two hidden layers with 256 units each employing hyperbolic tangent activation functions, and an output layer of 40 neurons without activation. The JENN framework employs a two-step training process: an initial phase using standard prediction-label pairs to establish baseline forecast capability, followed by a secondary phase incorporating a customized loss function to enforce accurate Jacobian relationships. This loss function combines root mean square error (RMSE) between predicted and true state values with additional RMSE terms for tangent linear (TL) and adjoint (AD) emulation results, weighted to balance forecast accuracy and Jacobian sensitivity. To ensure consistency, the secondary training phase uses additional pairs of TL/AD inputs and labels calculated from the physical models. Notably, this approach does not require starting from scratch or structural modifications to the NN, making it readily applicable to pretrained models such as GraphCast, NeuralGCM, Pangu, or FuXi, facilitating their adaptation for DA tasks with minimal reconfiguration. Experimental results demonstrate that the JENN framework preserves nonlinear forecast performance while significantly reducing noise in the TL and AD components, as well as in the overall Jacobian matrix.
• Abstract（参考訳）: 機械学習ベースの天気モデルは、正確な予測を生成する上で大きな可能性を示してきたが、従来の数値天気予報(NWP)モデルとは異なり、データ同化タスクに適用する場合に苦労してきた。 本研究では、ニューラルネットワーク(NN)をエミュレートした力学系におけるDA整合性を高めるために設計された、Jacobian-Enforced Neural Network(JENN)フレームワークを紹介する。 例としてLorenz 96モデルを用いて、このアプローチは、ジャコビアン関係の明示的な適用を通じて、DAにおけるNNの適用性の向上を示す。 NNアーキテクチャは、40ニューロンの入力層と、それぞれ256ユニットの隠された2つの層と、活性化しない40ニューロンの出力層とを含む。 JENNフレームワークは、2段階のトレーニングプロセスを採用している: 標準予測-ラベルペアを使用してベースライン予測能力を確立する初期フェーズと、ジャコビアン関係を正確に強制するためにカスタマイズされた損失関数を組み込んだ二次フェーズである。 この損失関数は、予測値と真状態値の間の根平均二乗誤差(RMSE)と、予測精度とヤコビ感度のバランスをとるために重み付けられた接線線形(TL)と随伴(AD)エミュレーション結果のRMSE項を結合する。 一貫性を確保するため、セカンダリトレーニングフェーズでは、物理モデルから計算されたTL/AD入力とラベルの追加ペアを使用する。 特に、このアプローチはNNのスクラッチや構造的な変更から始める必要はなく、GraphCast、NeuralGCM、Pangu、FuXiといった事前訓練されたモデルに容易に適用でき、最小限の再構成でDAタスクへの適応を容易にする。 実験の結果,JENN フレームワークは非線形予測性能を保ちながら,TL および AD 成分のノイズを著しく低減し,ジャコビアン行列全体のノイズを低減できることがわかった。

関連論文リスト

• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。 ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
  本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。 アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。 また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
  論文  参考訳（メタデータ） (2024-09-08T22:27:50Z)
• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• On the adaptation of recurrent neural networks for system identification [2.5234156040689237]
  本稿では,動的システムのリカレントニューラルネットワーク(RNN)モデルの高速かつ効率的な適応を可能にするトランスファー学習手法を提案する。 その後、システムダイナミクスが変化すると仮定され、摂動系における名目モデルの性能が不可避的に低下する。 ミスマッチに対処するため、新しい動的状態からの新鮮なデータに基づいてトレーニングされた付加的補正項でモデルを拡張する。
  論文  参考訳（メタデータ） (2022-01-21T12:04:17Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。