論文の概要: Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows

• arxiv url: http://arxiv.org/abs/2504.16588v1
• Date: Wed, 23 Apr 2025 10:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 16:58:52.370505
• Title: Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows
• Title（参考訳）: 部分観測カオス流れに対するデータ同化モデルに基づく強化学習
• Authors: Defne E. Ozan, Andrea Nóvoa, Luca Magri,
• Abstract要約: 本稿では,部分観測可能性と雑音測定を行うシステムのためのデータ同化モデルベースRL(DA-MBRL)フレームワークを提案する。 状態推定から最適制御戦略を学習するために,非政治アクター批判アルゴリズムを用いる。 この枠組みは倉本-シヴァインスキーシュ方程式で検証され、時間的にカオス的な流れを安定化させる効果を実証した。
• 参考スコア（独自算出の注目度）: 3.7960472831772765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of many applications in energy and transport sectors is to control turbulent flows. However, because of chaotic dynamics and high dimensionality, the control of turbulent flows is exceedingly difficult. Model-free reinforcement learning (RL) methods can discover optimal control policies by interacting with the environment, but they require full state information, which is often unavailable in experimental settings. We propose a data-assimilated model-based RL (DA-MBRL) framework for systems with partial observability and noisy measurements. Our framework employs a control-aware Echo State Network for data-driven prediction of the dynamics, and integrates data assimilation with an Ensemble Kalman Filter for real-time state estimation. An off-policy actor-critic algorithm is employed to learn optimal control strategies from state estimates. The framework is tested on the Kuramoto-Sivashinsky equation, demonstrating its effectiveness in stabilizing a spatiotemporally chaotic flow from noisy and partial measurements.
• Abstract（参考訳）: エネルギー・輸送分野における多くの応用の目標は、乱流を制御することである。 しかし、カオス力学と高次元性のため、乱流の制御は非常に困難である。 モデルフリー強化学習(RL)手法は環境と相互作用することで最適な制御ポリシーを発見することができるが、実験環境では利用できないような完全な状態情報が必要である。 本稿では,部分観測可能性と雑音測定を行うシステムのためのデータ同化モデルベースRL(DA-MBRL)フレームワークを提案する。 本フレームワークでは,データ駆動による動的予測に制御対応のEcho State Networkを採用し,実時間状態推定のためのEnsemble Kalman Filterとデータ同化を統合する。 状態推定から最適制御戦略を学習するために,非政治アクター批判アルゴリズムを用いる。 本フレームワークは, 倉本-シヴァシンスキー方程式を用いて実験を行い, 時空間カオス流を雑音および部分的測定から安定化させる効果を実証した。

関連論文リスト

• Stochastic Control for Fine-tuning Diffusion Models: Optimality, Regularity, and Convergence [11.400431211239958]
  拡散モデルは生成モデリングの強力なツールとして登場してきた。 微調整拡散モデルのための制御フレームワークを提案する。 PI-FTは線形速度で大域収束することを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:55:46Z)
• Latent feedback control of distributed systems in multiple scenarios through deep learning-based reduced order models [3.5161229331588095]
  高次元分散システムの継続的な監視とリアルタイム制御は、望まれる物理的な振る舞いを保証するためにアプリケーションに不可欠である。 完全順序モデルに依存する従来のフィードバック制御設計は、制御計算の遅延のため、これらの要求を満たすことができない。 非線形非侵襲的深層学習に基づく還元順序モデル(DL-ROM)により強化されたリアルタイム閉ループ制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-13T08:04:21Z)
• Amortized Control of Continuous State Space Feynman-Kac Model for Irregular Time Series [14.400596021890863]
  医療、気候、経済などの現実世界のデータセットは、しばしば不規則な時系列として収集される。 本稿では,連続状態空間モデル (ACSSM) を時系列の連続的動的モデリングに用いるためのアモータイズ制御を提案する。
  論文  参考訳（メタデータ） (2024-10-08T01:27:46Z)
• Learning Noise-Robust Stable Koopman Operator for Control with Hankel DMD [1.0742675209112622]
  非線形力学系のクープマン演算子に対するノイズロスト学習フレームワークを提案する。 システム力学が既知のとき, システム力学によって生成される可観測性は, ハンケル行列を通して利用することができる。 離散的なPolyflowと構造的類似性を保ちながら、ニューラルネットワークで近似する。
  論文  参考訳（メタデータ） (2024-08-13T03:39:34Z)
• Semi-Supervised Model-Free Bayesian State Estimation from Compressed Measurements [57.04370580292727]
  圧縮測定によるベイズ状態の推定について考察する。 時間的測定ベクトルの寸法は、推定される時間的状態ベクトルの寸法よりも小さい。 状態の進化の基盤となる力学モデルは「モデルフリープロセス」では未知数である。
  論文  参考訳（メタデータ） (2024-07-10T05:03:48Z)
• In-Distribution Barrier Functions: Self-Supervised Policy Filters that Avoid Out-of-Distribution States [84.24300005271185]
  本稿では,任意の参照ポリシーをラップした制御フィルタを提案する。 本手法は、トップダウンとエゴセントリックの両方のビュー設定を含むシミュレーション環境における2つの異なるビズモータ制御タスクに有効である。
  論文  参考訳（メタデータ） (2023-01-27T22:28:19Z)
• Data efficient reinforcement learning and adaptive optimal perimeter control of network traffic dynamics [0.0]
  本研究は、適応最適周波制御のためのマクロトラフィックダイナミクスの学習のための積分強化学習(IRL)に基づくアプローチを提案する。 サンプリングの複雑さを低減し、利用可能なデータをより効率的に利用するために、IRLアルゴリズムに経験再生(ER)技術を導入している。 IRLに基づくアルゴリズムの収束と制御された交通力学の安定性は、リャプノフ理論によって証明される。
  論文  参考訳（メタデータ） (2022-09-13T04:28:49Z)
• Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
  本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。 まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。 次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
  論文  参考訳（メタデータ） (2021-11-18T23:21:00Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)
• KalmanNet: Neural Network Aided Kalman Filtering for Partially Known Dynamics [84.18625250574853]
  KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。 我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-07-21T12:26:46Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。