論文の概要: Real-Time Model Calibration with Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2006.04001v2
- Date: Tue, 9 Jun 2020 12:25:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:45:49.305987
- Title: Real-Time Model Calibration with Deep Reinforcement Learning
- Title（参考訳）: 深層強化学習による実時間モデル校正
- Authors: Yuan Tian, Manuel Arias Chao, Chetan Kulkarni, Kai Goebel and Olga
Fink
- Abstract要約: 本稿では,強化学習に基づくモデルパラメータ推定のための新しいフレームワークを提案する。
提案手法を2つのモデルベース診断試験ケースで実証し, 評価した。
- 参考スコア（独自算出の注目度）: 4.707841918805165
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The dynamic, real-time, and accurate inference of model parameters from
empirical data is of great importance in many scientific and engineering
disciplines that use computational models (such as a digital twin) for the
analysis and prediction of complex physical processes. However, fast and
accurate inference for processes with large and high dimensional datasets
cannot easily be achieved with state-of-the-art methods under noisy real-world
conditions. The primary reason is that the inference of model parameters with
traditional techniques based on optimisation or sampling often suffers from
computational and statistical challenges, resulting in a trade-off between
accuracy and deployment time. In this paper, we propose a novel framework for
inference of model parameters based on reinforcement learning. The contribution
of the paper is twofold: 1) We reformulate the inference problem as a tracking
problem with the objective of learning a policy that forces the response of the
physics-based model to follow the observations; 2) We propose the constrained
Lyapunov-based actor-critic (CLAC) algorithm to enable the robust and accurate
inference of physics-based model parameters in real time under noisy real-world
conditions. The proposed methodology is demonstrated and evaluated on two
model-based diagnostics test cases utilizing two different physics-based models
of turbofan engines. The performance of the methodology is compared to that of
two alternative approaches: a state update method (unscented Kalman filter) and
a supervised end-to-end mapping with deep neural networks. The experimental
results demonstrate that the proposed methodology outperforms all other tested
methods in terms of speed and robustness, with high inference accuracy.
- Abstract（参考訳）: 実験データからのモデルパラメータの動的、リアルタイム、正確な推論は、複雑な物理過程の分析と予測のために計算モデル(デジタル双生児など)を使用する多くの科学および工学分野において非常に重要である。
しかし、大規模かつ高次元のデータセットを持つプロセスに対する高速かつ正確な推論は、実世界の騒々しい条件下で最先端の手法では容易には達成できない。
主な理由は、最適化やサンプリングに基づく従来の手法によるモデルパラメータの推論は、しばしば計算と統計の課題に苦しめられ、結果として精度とデプロイ時間のトレードオフが生じるためである。
本稿では,強化学習に基づくモデルパラメータ推定のための新しいフレームワークを提案する。
論文の貢献は2つあります。
1) 物理学に基づくモデルの応答に従わざるを得ない政策の学習を目的として, 推論問題を追跡問題として再検討する。
2) Lyapunov-based actor-critic (CLAC) アルゴリズムを提案する。
提案手法は, ターボファンエンジンの2つの物理モデルを用いた2つのモデルベース診断事例で実証および評価を行った。
この手法の性能は、状態更新法(kalmanフィルタの類似)と、ディープニューラルネットワークによるエンドツーエンドマッピングの2つの方法と比較される。
実験結果から,提案手法は速度とロバスト性の観点から他の試験手法よりも高い性能を示し,高い推論精度を示した。
関連論文リスト
- Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive
Models [2.7391842773173334]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳（メタデータ） (2022-11-23T17:42:53Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - LEARNEST: LEARNing Enhanced Model-based State ESTimation for Robots
using Knowledge-based Neural Ordinary Differential Equations [4.3403382998035624]
本研究では、状態推定アルゴリズムで用いられる力学モデルを強化することにより、ロボットシステムの正確な状態推定を行うタスクについて考察する。
動的モデルの強化と推定精度の向上のために,知識ベースニューラル常微分方程式(KNODE)と呼ばれるディープラーニングフレームワークを利用する。
提案する LEARNEST フレームワークでは,データ駆動モデルと KNODE-MHE と KNODE-UKF の2つの新しいモデルベース状態推定アルゴリズムを統合する。
論文 参考訳（メタデータ） (2022-09-16T22:16:40Z) - Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。
ニューラル微分方程式モデルに基づく新しい手法を提案する。
我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
論文 参考訳（メタデータ） (2022-07-21T12:11:18Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳（メタデータ） (2022-04-09T22:07:34Z) - Learning new physics efficiently with nonparametric methods [11.970219534238444]
モデルに依存しない新しい物理探索のための機械学習手法を提案する。
対応するアルゴリズムは、最近のカーネルメソッドの大規模実装によって実現されている。
トレーニング時間や計算資源の観点から、ニューラルネットワークの実装と比較して、我々のアプローチは劇的なアドバンテージがあることが示される。
論文 参考訳（メタデータ） (2022-04-05T16:17:59Z) - Progressive residual learning for single image dehazing [57.651704852274825]
物理モデルフリーなデハジングプロセスと, 再構成された散乱モデルに基づくデハジング操作を組み合わせるために, 漸進的残留学習戦略が提案されている。
提案手法は,公開デヘイジングベンチマークにおける最先端手法に対して,複雑なデータに対するモデル解釈性と適応性に優れる。
論文 参考訳（メタデータ） (2021-03-14T16:54:44Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳（メタデータ） (2020-10-15T16:39:26Z) - Modeling Stochastic Microscopic Traffic Behaviors: a Physics Regularized
Gaussian Process Approach [1.6242924916178285]
本研究では,実世界のランダム性を捉え,誤差を計測できる微視的交通モデルを提案する。
提案フレームワークの特長の一つは,自動車追従行動と車線変更行動の両方を1つのモデルで捉える能力である。
論文 参考訳（メタデータ） (2020-07-17T06:03:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。