論文の概要: Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

• arxiv url: http://arxiv.org/abs/2605.02405v1
• Date: Mon, 04 May 2026 09:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.227661
• Title: Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation
• Title（参考訳）: 履歴に基づく強化学習と潜在モデルに基づく適応を用いた閉ループCO2貯蔵制御
• Authors: Sofianos Panagiotis Fotias, Vassilis Gaganis,
• Abstract要約: この研究は、部分的に観測可能なシーケンシャルな決定問題としてCO2注入とブライン生産制御を定式化する。 まず、特権国家、良質な歴史条件、マスキングカリキュラム、非対称教師学生のモデルフリー政策を比較した。 次に、既知のインジェクタ故障下で、名目上の潜在力学とリチューン制御を再利用する潜在モデルに基づく適応パイプラインを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Closed-loop management of geological CO2 storage requires control policies that adapt to uncertain reservoir behavior while relying on observations that are realistically available during operation. This work formulates CO2 injection and brine-production control as a partially observable sequential decision problem and studies deployable deep reinforcement-learning controllers trained with high-fidelity reservoir simulation. We first compare privileged-state, well-only, history-conditioned, masking-curriculum, and asymmetric teacher-student model-free policies in order to quantify the value of temporal well-response information and training-time privileged simulator states. We then evaluate a latent model-based adaptation pipeline that reuses nominal latent dynamics and retunes controllers under known injector failure, leakage-induced dynamics and reward shift, and compartmentalized reservoir connectivity. The results show that history-conditioned policies recover nearly all of the privileged-state performance while using only deployable well-level information, and that latent model-based retuning outperforms direct model-free retuning under the same scenario-specific real-simulator budget in the abnormal operating cases. The proposed framework therefore provides a simulator-budget-aware alternative to repeated online history matching and re-optimization for closed-loop CO2 storage control.
• Abstract（参考訳）: 地質的なCO2貯蔵の閉ループ管理には、運用中に現実的に利用できる観測に依存しながら、不確実な貯水池の挙動に適応する制御ポリシーが必要である。 この研究は、部分的に観測可能な逐次決定問題としてCO2注入とブライン生産制御を定式化し、高忠実度貯水池シミュレーションで訓練された展開可能な深部強化学習コントローラについて研究する。 まず、時間的応答情報と訓練時の特権的シミュレーター状態の価値を定量化するために、特権状態、良質な履歴条件、マスキングカリキュラム、非対称教師学生モデルフリーポリシーを比較した。 そこで我々は, 既知のインジェクタ故障, 漏洩誘起力学および報酬シフト, 分割型貯水池接続の下で, 名目上潜在力学とリチューン制御を再利用した潜在モデルベース適応パイプラインの評価を行った。 その結果, 履歴条件付きポリシは, 展開可能なウェルレベル情報のみを使用しながら, ほぼすべての特権状態のパフォーマンスを回復し, 潜在モデルに基づくリチューニングは, 異常な手術例において, 同じシナリオ固有の実シミュレータ予算下での直接モデルなしリチューニングよりも優れていることがわかった。 提案フレームワークは, 閉ループCO2ストレージ制御において, 繰り返しオンライン履歴マッチングと再最適化の代替となるシミュレータ・バジェット・アウェアを提供する。

関連論文リスト

• Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision [14.246416873754905]
  モデルに基づく二足歩行と残留強化学習を統合した制御フレームワークを提案する。 提案手法は, ランダム化条件におけるロバスト性の向上と一般化を実証する。
  論文  参考訳（メタデータ） (2026-01-22T16:56:52Z)
• Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
  本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。 MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。 MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
  論文  参考訳（メタデータ） (2025-11-26T17:01:41Z)
• CoReVLA: A Dual-Stage End-to-End Autonomous Driving Framework for Long-Tail Scenarios via Collect-and-Refine [73.74077186298523]
  CoReVLAは、自動運転のための継続的学習フレームワークである。 データコレクションとビヘイビアリファインメントの2段階プロセスを通じて、ロングテールシナリオのパフォーマンスを改善する。 CoReVLAは72.18のドライビングスコア(DS)と50%の成功率(SR)を達成し、7.96DSの最先端手法と15%SRの長期的安全クリティカルシナリオで性能を向上する。
  論文  参考訳（メタデータ） (2025-09-19T13:25:56Z)
• Data-Assimilated Model-Based Reinforcement Learning for Partially Observed Chaotic Flows [3.7960472831772765]
  本稿では,部分観測可能性と雑音測定を行うシステムのためのデータ同化モデルベースRL(DA-MBRL)フレームワークを提案する。 状態推定から最適制御戦略を学習するために,非政治アクター批判アルゴリズムを用いる。 この枠組みは倉本-シヴァインスキーシュ方程式で検証され、時間的にカオス的な流れを安定化させる効果を実証した。
  論文  参考訳（メタデータ） (2025-04-23T10:12:53Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Adjustment formulas for learning causal steady-state models from closed-loop operational data [0.0]
  定常状態データから因果定常状態モデルの推定を可能にする制御共起の調整式を導出する。 コントローラが対処しようとしている障害を推定して考慮し、フィードフォワードとフィードバックコントロールの両方で収集されたデータから学習することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:39:46Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Deep reinforcement learning for optimal well control in subsurface systems with uncertain geology [0.0]
  深部強化学習(DRL)に基づく一般制御政策枠組みを導入し, 地下流れにおける閉ループ決定について検討した。 DRLに基づく手法は、従来のモデルよりも頑健な最適化と比較して、NPVの15%(2Dの場合)と33%(3Dの場合)の増加をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-03-24T22:50:47Z)
• A Deep Learning-Accelerated Data Assimilation and Forecasting Workflow for Commercial-Scale Geologic Carbon Storage [2.464972164779053]
  本稿では,多孔質中流挙動の物理的理解を深層学習技術で活用し,高速な履歴マッチング・貯留層応答予測ワークフローを開発することを提案する。 マルチウェルインジェクション下での動的圧力とCO2配管幅を予測するための代理モデルを開発した。 このワークフローは、メインストリームの個人ワークステーションで1時間以内で、履歴マッチングと不確実な定量化による貯蓄予測を完了させることができる。
  論文  参考訳（メタデータ） (2021-05-09T16:38:29Z)
• Logarithmic Regret Bound in Partially Observable Linear Dynamical Systems [91.43582419264763]
  部分的に観測可能な線形力学系におけるシステム同定と適応制御の問題について検討する。 開ループ系と閉ループ系の両方において有限時間保証付きの最初のモデル推定法を提案する。 AdaptOnは、未知の部分観測可能な線形力学系の適応制御において、$textpolylogleft(Tright)$ regretを達成する最初のアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2020-03-25T06:00:33Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。