論文の概要: Digital Twin Calibration with Model-Based Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2501.02205v1
- Date: Sat, 04 Jan 2025 06:15:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:06:39.436425
- Title: Digital Twin Calibration with Model-Based Reinforcement Learning
- Title（参考訳）: モデルに基づく強化学習を用いたディジタル双対校正
- Authors: Hua Zheng, Wei Xie, Ilya O. Ryzhov, Keilung Choy,
- Abstract要約: 本稿では,デジタルツインの校正をモデルベース強化学習に取り入れた,アクタ・シミュレータと呼ばれる新しい方法論フレームワークを提案する。
提案手法はディジタルツインを共同で校正し,最適制御ポリシーを探索し,モデル誤差を考慮・低減する。
この二重成分アプローチは、最適方針に確実に収束し、バイオ医薬品製造領域に基づく広範な数値実験において、既存の手法よりも優れる。
- 参考スコア（独自算出の注目度）: 3.0435175689911595
- License:
- Abstract: This paper presents a novel methodological framework, called the Actor-Simulator, that incorporates the calibration of digital twins into model-based reinforcement learning for more effective control of stochastic systems with complex nonlinear dynamics. Traditional model-based control often relies on restrictive structural assumptions (such as linear state transitions) and fails to account for parameter uncertainty in the model. These issues become particularly critical in industries such as biopharmaceutical manufacturing, where process dynamics are complex and not fully known, and only a limited amount of data is available. Our approach jointly calibrates the digital twin and searches for an optimal control policy, thus accounting for and reducing model error. We balance exploration and exploitation by using policy performance as a guide for data collection. This dual-component approach provably converges to the optimal policy, and outperforms existing methods in extensive numerical experiments based on the biopharmaceutical manufacturing domain.
- Abstract（参考訳）: 本稿では,デジタルツインの校正をモデルベース強化学習に組み込んで,複雑な非線形力学を持つ確率系のより効率的な制御を行う,アクタ・シミュレータと呼ばれる新しい方法論フレームワークを提案する。
従来のモデルベースの制御は、しばしば制限的な構造的仮定(線形状態遷移など)に依存し、モデル内のパラメータの不確実性を考慮するのに失敗する。
これらの問題は、プロセスダイナミクスが複雑で完全には知られていない、限られた量のデータしか利用できないバイオ医薬品製造のような産業において特に重要になる。
提案手法はディジタルツインを共同で校正し,最適制御ポリシーを探索し,モデル誤差を考慮・低減する。
データ収集のガイドとしてポリシパフォーマンスを用いて,探索とエクスプロイトのバランスをとる。
この二重成分アプローチは、最適方針に確実に収束し、バイオ医薬品製造領域に基づく広範な数値実験において、既存の手法よりも優れる。
関連論文リスト
- Imitation Learning from Observations: An Autoregressive Mixture of Experts Approach [2.4427666827706074]
本稿では,観察から得られた模倣学習の新たなアプローチとして,専門家モデルの自己回帰混合を,その基礎となる方針に適合させる手法を提案する。
提案手法の有効性を,人間の実演から収集した2つの自律走行データセットを用いて検証した。
論文 参考訳（メタデータ） (2024-11-12T22:56:28Z) - Learning epidemic trajectories through Kernel Operator Learning: from modelling to optimal control [0.0]
感染拡大に伴う人口動態を再構築するためのカーネル・オペレーター・ラーニング(KOL)の有効性について検討する。
特にKOL-mとKOL-$partial$という2つの代理モデルを導入する。
提案手法は, 高速かつロバストな予測とシナリオ分析を実現するのにいかに適しているかを示す。
論文 参考訳（メタデータ） (2024-04-17T07:21:17Z) - Active Learning for Control-Oriented Identification of Nonlinear Systems [26.231260751633307]
本稿では,非線形力学の一般クラスに適した能動学習アルゴリズムの最初の有限サンプル解析について述べる。
ある設定では、アルゴリズムの過剰な制御コストは、対数係数まで、最適な速度を達成する。
我々は,非線形システムの制御におけるアクティブな制御指向探索の利点を示すとともに,シミュレーションにおける我々のアプローチを検証する。
論文 参考訳（メタデータ） (2024-04-13T15:40:39Z) - Data-driven Nonlinear Model Reduction using Koopman Theory: Integrated
Control Form and NMPC Case Study [56.283944756315066]
そこで本研究では,遅延座標符号化と全状態復号化を組み合わせた汎用モデル構造を提案し,Koopmanモデリングと状態推定を統合した。
ケーススタディでは,本手法が正確な制御モデルを提供し,高純度極低温蒸留塔のリアルタイム非線形予測制御を可能にすることを実証している。
論文 参考訳（メタデータ） (2024-01-09T11:54:54Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-12-16T17:13:08Z) - Enhanced multi-fidelity modelling for digital twin and uncertainty
quantification [0.0]
データ駆動モデルは、リアルタイムのアップデートと予測を可能にするデジタルツインにおいて重要な役割を果たす。
利用可能なデータの忠実さと正確なセンサーデータの不足は、しばしば代理モデルの効率的な学習を妨げる。
本稿では,ロバストなマルチフィデリティ・サロゲートモデルの開発から始まる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-26T05:58:17Z) - Learning-enhanced Nonlinear Model Predictive Control using
Knowledge-based Neural Ordinary Differential Equations and Deep Ensembles [5.650647159993238]
本研究では,知識に基づくニューラル常微分方程式(KNODE)とディープアンサンブルというディープラーニングツールを活用し,モデル予測制御(MPC)の予測精度を向上させる。
特に、KNODEモデルのアンサンブル(KNODEアンサンブル)を学習し、真のシステム力学の正確な予測を得る。
KNODEアンサンブルはより正確な予測を提供し、提案した非線形MPCフレームワークの有効性と閉ループ性能を示す。
論文 参考訳（メタデータ） (2022-11-24T23:51:18Z) - Causal Inference via Nonlinear Variable Decorrelation for Healthcare
Applications [60.26261850082012]
線形および非線形共振の両方を扱う可変デコリレーション正規化器を用いた新しい手法を提案する。
我々は、モデル解釈可能性を高めるために、元の特徴に基づくアソシエーションルールマイニングを用いた新しい表現として、アソシエーションルールを採用する。
論文 参考訳（メタデータ） (2022-09-29T17:44:14Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳（メタデータ） (2021-05-17T08:36:18Z) - COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。
我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。
従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
論文 参考訳（メタデータ） (2021-02-16T18:50:32Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳（メタデータ） (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。