論文の概要: Efficient Geothermal Well-Control Optimization via Diffusion-Surrogate Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.28791v1
• Date: Fri, 28 Aug 2026 18:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.747566
• Title: Efficient Geothermal Well-Control Optimization via Diffusion-Surrogate Reinforcement Learning
• Title（参考訳）: 拡散・サロゲート強化学習による地熱井の効率的な最適化
• Abstract要約: 長期生産期間は高次元制御空間を含むため,拡張地熱系(EGS)のリアルタイム意思決定は困難である。 長距離ESGウェルコントロール最適化のための拡散代理誘導強化学習フレームワークを提案する。 フラクチャードESGベンチマークの実験により、拡散代理は複数の制御段階における貯留状態の進化を正確に再現できることが示されている。
• 参考スコア（独自算出の注目度）: 5.172885722898411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time decision-making for enhanced geothermal systems (EGS) is challenging because long-term production periods involve high-dimensional control spaces and a large number of time-consuming high-fidelity hydrothermal simulations. Reinforcement learning provides a natural framework for state-dependent sequential control, but direct policy training with numerical simulators is computationally expensive. To address this issue, we propose a diffusion-surrogate guided reinforcement learning framework for long-horizon EGS well-control optimization. The reservoir temperature and pressure fields are used as system states, while injection rates are selected as control actions. A learned surrogate environment is constructed using conditional diffusion models to predict the evolution of reservoir temperature and pressure fields and a separate reward model to estimate the corresponding economic return. The surrogate environment is then integrated with Proximal Policy Optimization (PPO) for efficient policy training. Experiments on a fractured EGS benchmark show that the diffusion surrogate can accurately reproduce reservoir-state evolution over multiple control stages. The resulting surrogate-assisted PPO policy achieves competitive well-control performance compared with direct simulator-based PPO and existing optimization methods, while substantially reducing the dependence on expensive high-fidelity simulations. These results demonstrate the potential of diffusion-based surrogate environments for efficient reinforcement learning in geothermal well-control optimization.
• Abstract（参考訳）: 長期生産期間は高次元制御空間と多くの時間を要する高密度熱水シミュレーションを含むため, 改良型地熱系(EGS)のリアルタイム意思決定は困難である。 強化学習は、状態依存的な逐次制御のための自然なフレームワークを提供するが、数値シミュレータによる直接ポリシートレーニングは計算コストがかかる。 この問題に対処するために,長距離ESGウェルコントロール最適化のための拡散代理型強化学習フレームワークを提案する。 貯水池の温度と圧力場をシステム状態とし、噴射速度を制御動作として選択する。 貯水池の温度と圧力場の進化を予測するための条件拡散モデルと、それに対応する経済効果を推定する個別の報酬モデルを用いて、学習された代理環境を構築した。 代理環境は、効率的な政策訓練のためにPPO(Proximal Policy Optimization)と統合される。 フラクチャードESGベンチマークの実験により、拡散代理は複数の制御段階における貯留状態の進化を正確に再現できることが示されている。 その結果、サロゲート支援PPOポリシは、直接シミュレータベースのPPOや既存の最適化手法と比較して、競争力のある制御性能を達成するとともに、高価な高忠実度シミュレーションへの依存を大幅に低減する。 これらの結果は、地熱井制御最適化における効率的な強化学習のための拡散型サロゲート環境の可能性を示している。

関連論文リスト

• Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
  タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。 我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。 我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
  論文  参考訳（メタデータ） (2026-06-17T11:42:01Z)
• Deep Learning-Accelerated Surrogate Optimization for High-Dimensional Well Control in Stress-Sensitive Reservoirs [0.0]
  応力に敏感な非伝統的な貯水池における生産最適化は, 圧力駆動流と破壊導電率低下とマトリックス透水率の非線形トレードオフによって制御される。 本研究では,高次元ウェルコントロールのためのディープラーニングに基づくサロゲート最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T01:04:08Z)
• Adaptive Uncertainty-Guided Surrogates for Efficient phase field Modeling of Dendritic Solidification [0.24629531282150874]
  本研究は, 微小XGおよびCNNを用いた不確実性駆動型適応サンプリングを用いた樹状固化反応の代理モデルを提案する。 このフレームワークは、時間選択、適応サンプリング、およびドメインインフォームドデータ駆動サロゲートの選択がX時間モデルの性能にどのように影響するかを体系的に調査する。
  論文  参考訳（メタデータ） (2026-02-17T10:43:24Z)
• AEGPO: Adaptive Entropy-Guided Policy Optimization for Diffusion Models [54.56296715999545]
  人間のフィードバックからの強化学習は、拡散とフローモデルの整合性を示す。 GRPOのような政策最適化手法は、非効率で静的なサンプリング戦略に悩まされている。 適応エントロピー誘導政策最適化(Adaptive Entropy-Guided Policy Optimization, AEGPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:09:50Z)
• Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
  本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。 MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。 MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
  論文  参考訳（メタデータ） (2025-11-26T17:01:41Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Iterative Distillation for Reward-Guided Fine-Tuning of Diffusion Models in Biomolecular Design [58.8094854658848]
  生体分子設計における報酬誘導生成のための微調整拡散モデルの問題に対処する。 本稿では,拡散モデルによる任意の報酬関数の最適化を可能にする,反復蒸留に基づく微調整フレームワークを提案する。 KLの発散最小化と相まって,既存のRL法と比較してトレーニングの安定性とサンプル効率を向上させる。
  論文  参考訳（メタデータ） (2025-07-01T05:55:28Z)
• Comparison of Model Predictive Control and Proximal Policy Optimization for a 1-DOF Helicopter System [0.7499722271664147]
  本研究は,Quanser Aero 2システムに適用された深層強化学習(DRL)アルゴリズムであるモデル予測制御(MPC)とPPOの比較分析を行う。 PPOは上昇時間と適応性に優れており、迅速な応答と適応性を必要とするアプリケーションには有望なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:35:34Z)
• Extremum-Seeking Action Selection for Accelerating Policy Optimization [18.162794442835413]
  連続空間の制御のための強化学習は、典型的にはガウス分布のような高エントロピーポリシーを用いて局所的な探索と性能の最適化を推定する。 本稿では,ESC(Extremum-Seeking Control)に基づく適応制御を付加することで,モデルフリーなRL設定におけるアクション選択を改善することを提案する。 本手法は, 各種制御学習環境において, 学習効率を向上させるために, 標準方針最適化において容易に追加することができる。
  論文  参考訳（メタデータ） (2024-04-02T02:39:17Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Deep learning based closed-loop optimization of geothermal reservoir production [0.0]
  本研究では,深部地熱貯留層を最適に制御するために,深部学習サロゲートに基づくクローズドループ最適化フレームワークを提案する。 我々は,畳み込みニューラルネットワーク(CNN)と長期記憶(LSTM)を組み合わせたハイブリッド畳み込み再帰型ニューラルネットワークサロゲートを構築した。 提案手法は, 地熱貯留層生産プロセスにおいて, 効率的かつ効率的なリアルタイム最適化とデータ同化を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-04-15T14:37:28Z)
• Variance Reduction based Experience Replay for Policy Optimization [3.0790370651488983]
  Variance Reduction Experience Replay (VRER) は、政策勾配推定を改善するために、関連するサンプルを選択的に再利用するためのフレームワークである。 VRERは、VRERによるポリシーグラディエントとして知られる、効率的な非政治学習アルゴリズムの基盤となる。
  論文  参考訳（メタデータ） (2021-10-17T19:28:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。