論文の概要: Improving the Robustness of Control of Chaotic Convective Flows with Domain-Informed Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.00272v1
• Date: Fri, 31 Oct 2025 21:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.706984
• Title: Improving the Robustness of Control of Chaotic Convective Flows with Domain-Informed Reinforcement Learning
• Title（参考訳）: ドメインインフォームド強化学習によるカオス対流流制御のロバスト性向上
• Authors: Michiel Straat, Thorben Markmann, Sebastian Peitz, Barbara Hammer,
• Abstract要約: カオス対流は、マイクロ流体装置や化学反応器など、多くの現実世界のシステムで発生する。 本研究では,レイリー・ブエナード対流に着目したRL制御の実現可能性を向上させる。 我々は、好ましくはマクロな性質の例として、B'enard細胞融合を促進する用語を通じて、報酬関数にドメイン知識を組み込む。 本結果より, ドメインインフォームド報酬設計は, 定常流, トレーニング中の収束の速さ, 再学習を伴わないフローレジーム間の一般化をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 6.619254876970774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chaotic convective flows arise in many real-world systems, such as microfluidic devices and chemical reactors. Stabilizing these flows is highly desirable but remains challenging, particularly in chaotic regimes where conventional control methods often fail. Reinforcement Learning (RL) has shown promise for control in laminar flow settings, but its ability to generalize and remain robust under chaotic and turbulent dynamics is not well explored, despite being critical for real-world deployment. In this work, we improve the practical feasibility of RL-based control of such flows focusing on Rayleigh-B\'enard Convection (RBC), a canonical model for convective heat transport. To enhance generalization and sample efficiency, we introduce domain-informed RL agents that are trained using Proximal Policy Optimization across diverse initial conditions and flow regimes. We incorporate domain knowledge in the reward function via a term that encourages B\'enard cell merging, as an example of a desirable macroscopic property. In laminar flow regimes, the domain-informed RL agents reduce convective heat transport by up to 33%, and in chaotic flow regimes, they still achieve a 10% reduction, which is significantly better than the conventional controllers used in practice. We compare the domain-informed to uninformed agents: Our results show that the domain-informed reward design results in steady flows, faster convergence during training, and generalization across flow regimes without retraining. Our work demonstrates that elegant domain-informed priors can greatly enhance the robustness of RL-based control of chaotic flows, bringing real-world deployment closer.
• Abstract（参考訳）: カオス対流は、マイクロ流体装置や化学反応器など、多くの現実世界のシステムで発生する。 これらの流れの安定化は非常に望ましいが、特に従来の制御方法がしばしば失敗するカオス的な体制では、依然として困難である。 強化学習(Reinforcement Learning, RL)は、ラミナフロー設定における制御の約束を示すものだが、カオス的かつ乱流力学の下で一般化し、堅牢な状態を維持する能力は、現実世界の展開に必須であるにもかかわらず、十分に調査されていない。 本研究では, 対流熱輸送の標準モデルであるRayleigh-B\enard Convection (RBC) に着目したRL制御の実現可能性を向上させる。 一般化とサンプル効率を向上させるため,様々な初期条件とフローレギュレーションにまたがって,近似ポリシー最適化を用いて訓練したドメインインフォームドRLエージェントを導入する。 我々は、好ましくはマクロな性質の例として、B\'enard細胞の融合を促進する用語を通して、報酬関数にドメイン知識を組み込む。 層流系では, ドメインインフォームドRLは対流熱輸送を最大33%減少させ, カオス流系では従来の制御器に比べて10%の低減を実現している。 ドメインインフォームド・インフォームド・エージェントと非インフォームド・エージェントを比較すると、ドメインインフォームド・リワード・デザインは、安定したフロー、トレーニング中の収束の速さ、リトレーニングなしのフローレジーム間の一般化をもたらすことが示された。 我々の研究は、エレガントなドメインインフォームドプリエントが、カオスフローのRLベースの制御の堅牢性を大幅に向上し、現実世界のデプロイメントがより近くなることを示す。

関連論文リスト

• Boosting Fidelity for Pre-Trained-Diffusion-Based Low-Light Image Enhancement via Condition Refinement [63.54516423266521]
  事前学習拡散ベース(PTDB)法は、しばしばコンテンツ忠実さを犠牲にして知覚的リアリズムを高める。 本稿では,事前学習した拡散モデルにおける条件付けのための新しい最適化手法を提案する。 我々のアプローチはプラグアンドプレイであり、より効率的な制御を提供するために既存の拡散ネットワークにシームレスに統合される。
  論文  参考訳（メタデータ） (2025-10-20T02:40:06Z)
• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
  ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。 本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-01T20:32:27Z)
• Control of Rayleigh-Bénard Convection: Effectiveness of Reinforcement Learning in the Turbulent Regime [6.619254876970774]
  乱流下での対流熱伝達低減のための強化学習(RL)の有効性について検討した。 単エージェントプロキシポリシー最適化(PPO)によって訓練されたRLエージェントは、線形比例微分(PD)コントローラと比較される。 RL剤は、ヌッセルト数によって測定された対流を、適度な乱流系では最大33%減らし、高乱流環境では10%減らした。
  論文  参考訳（メタデータ） (2025-04-16T11:51:59Z)
• Invariant Control Strategies for Active Flow Control using Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)を,強化学習(RL)に基づくフロー制御のための有望なアーキテクチャとして導入する。 GNNは非構造三次元フローデータを処理し、カルト格子の制約なしに空間的関係を保存する。 我々は,GNNに基づく制御ポリシが,改良された一般化特性の恩恵を受けながら,既存の手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-28T09:33:40Z)
• Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization [14.320131946691268]
  本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。 提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。 本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
  論文  参考訳（メタデータ） (2025-02-09T22:45:15Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。