論文の概要: Data-assimilated model-informed reinforcement learning

• arxiv url: http://arxiv.org/abs/2506.01755v2
• Date: Tue, 03 Jun 2025 09:22:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.311345
• Title: Data-assimilated model-informed reinforcement learning
• Title（参考訳）: データ同化モデルインフォームド強化学習
• Authors: Defne E. Ozan, Andrea Nóvoa, Georgios Rigas, Luca Magri,
• Abstract要約: 実際には、センサーはシステムの部分的および雑音的な測定(オブレーション)のみを提供することが多い。 本稿では,部分的かつノイズの多い可観測性を持つカオスシステムの制御を可能にするフレームワークを提案する。 DA-MIRLは、部分的な観測と近似モデルから、環境のカオス的ダイナミクスをリアルタイムで推定し、抑制する。
• 参考スコア（独自算出の注目度）: 3.4748713192043876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The control of spatio-temporally chaos is challenging because of high dimensionality and unpredictability. Model-free reinforcement learning (RL) discovers optimal control policies by interacting with the system, typically requiring observations of the full physical state. In practice, sensors often provide only partial and noisy measurements (observations) of the system. The objective of this paper is to develop a framework that enables the control of chaotic systems with partial and noisy observability. The proposed method, data-assimilated model-informed reinforcement learning (DA-MIRL), integrates (i) low-order models to approximate high-dimensional dynamics; (ii) sequential data assimilation to correct the model prediction when observations become available; and (iii) an off-policy actor-critic RL algorithm to adaptively learn an optimal control strategy based on the corrected state estimates. We test DA-MIRL on the spatiotemporally chaotic solutions of the Kuramoto-Sivashinsky equation. We estimate the full state of the environment with (i) a physics-based model, here, a coarse-grained model; and (ii) a data-driven model, here, the control-aware echo state network, which is proposed in this paper. We show that DA-MIRL successfully estimates and suppresses the chaotic dynamics of the environment in real time from partial observations and approximate models. This work opens opportunities for the control of partially observable chaotic systems.
• Abstract（参考訳）: 時空間カオスの制御は、高次元性と予測不可能性のために困難である。 モデルフリー強化学習(RL)は、システムと相互作用することで最適な制御ポリシーを発見し、通常は完全な物理的状態の観察を必要とする。 実際には、センサーはシステムの部分的およびノイズ的な測定(観測)のみを提供することが多い。 本研究の目的は、部分的かつノイズの多い可観測性を持つカオスシステムの制御を可能にするフレームワークを開発することである。 DA-MIRL(Data-assimilated model-informed reinforcement learning)と統合する手法を提案する。 (i)高次元力学を近似する低次モデル 二 観測が可能になったときのモデル予測を正すための逐次データ同化 3) 補正された状態推定に基づいて最適制御戦略を適応的に学習する,非政治アクタ批判的RLアルゴリズム。 倉本-シヴァシンスキー方程式の時空間カオス解上でDA-MIRLをテストする。 私たちは環境の完全な状態を見積もる (i)物理モデル、ここでは粗い粒度モデル及び (2)本論文で提案する制御対応エコー状態ネットワークは,データ駆動型モデルである。 DA-MIRLは、部分的な観測と近似モデルから、環境のカオス的ダイナミクスをリアルタイムで推定し、抑制する。 この研究は、部分的に観測可能なカオスシステムの制御の機会を開く。

関連論文リスト

• Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows [3.7960472831772765]
  本稿では,部分観測可能性と雑音測定を行うシステムのためのデータ同化モデルベースRL(DA-MBRL)フレームワークを提案する。 状態推定から最適制御戦略を学習するために,非政治アクター批判アルゴリズムを用いる。 この枠組みは倉本-シヴァインスキーシュ方程式で検証され、時間的にカオス的な流れを安定化させる効果を実証した。
  論文  参考訳（メタデータ） (2025-04-23T10:12:53Z)
• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• Data-driven Nonlinear Model Reduction using Koopman Theory: Integrated Control Form and NMPC Case Study [56.283944756315066]
  そこで本研究では,遅延座標符号化と全状態復号化を組み合わせた汎用モデル構造を提案し,Koopmanモデリングと状態推定を統合した。 ケーススタディでは,本手法が正確な制御モデルを提供し,高純度極低温蒸留塔のリアルタイム非線形予測制御を可能にすることを実証している。
  論文  参考訳（メタデータ） (2024-01-09T11:54:54Z)
• Data Assimilation in Chaotic Systems Using Deep Reinforcement Learning [0.5999777817331317]
  データ同化は、気候予報や天気予報から自動運転車の軌道計画まで、様々な応用において重要な役割を果たしている。 近年の進歩は、主に教師付き学習フレームワーク内で、この領域でディープラーニングアプローチが出現している。 本研究では、強化学習(RL)を用いて状態変数の完全あるいは部分的観測を用いて状態修正を行う新しいDA戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-01T06:53:36Z)
• End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control [45.84205238554709]
  本研究では, (e)NMPCの一部として最適性能を示すために, Koopman シュロゲートモデルの強化学習法を提案する。 エンドツーエンドトレーニングモデルは,(e)NMPCにおけるシステム識別を用いてトレーニングしたモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T10:21:53Z)
• Domain-aware Control-oriented Neural Models for Autonomous Underwater Vehicles [2.4779082385578337]
  ドメイン認識のレベルが異なる制御指向パラメトリックモデルを提案する。 データ駆動型ブラックボックスとAUVダイナミクスのグレイボックス表現を構築するために、普遍微分方程式を用いる。
  論文  参考訳（メタデータ） (2022-08-15T17:01:14Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。