論文の概要: Transfer learning strategies for accelerating reinforcement-learning-based flow control

• arxiv url: http://arxiv.org/abs/2510.16016v1
• Date: Wed, 15 Oct 2025 09:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.774452
• Title: Transfer learning strategies for accelerating reinforcement-learning-based flow control
• Title（参考訳）: 強化学習に基づくフロー制御の高速化のための伝達学習戦略
• Authors: Saeed Salehi,
• Abstract要約: 本研究では,カオス流体の多相性制御のための深部強化学習(DRL)を高速化するための伝達学習戦略について検討する。 DRLベースのフロー制御の文脈で、プログレッシブニューラルネットワーク(PNN)が初めて使用される。 PNNは、事前の知識を保存し、一貫した性能向上を提供することにより、安定かつ効率的な転送を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work investigates transfer learning strategies to accelerate deep reinforcement learning (DRL) for multifidelity control of chaotic fluid flows. Progressive neural networks (PNNs), a modular architecture designed to preserve and reuse knowledge across tasks, are employed for the first time in the context of DRL-based flow control. In addition, a comprehensive benchmarking of conventional fine-tuning strategies is conducted, evaluating their performance, convergence behavior, and ability to retain transferred knowledge. The Kuramoto-Sivashinsky (KS) system is employed as a benchmark to examine how knowledge encoded in control policies, trained in low-fidelity environments, can be effectively transferred to high-fidelity settings. Systematic evaluations show that while fine-tuning can accelerate convergence, it is highly sensitive to pretraining duration and prone to catastrophic forgetting. In contrast, PNNs enable stable and efficient transfer by preserving prior knowledge and providing consistent performance gains, and are notably robust to overfitting during the pretraining phase. Layer-wise sensitivity analysis further reveals how PNNs dynamically reuse intermediate representations from the source policy while progressively adapting deeper layers to the target task. Moreover, PNNs remain effective even when the source and target environments differ substantially, such as in cases with mismatched physical regimes or control objectives, where fine-tuning strategies often result in suboptimal adaptation or complete failure of knowledge transfer. The results highlight the potential of novel transfer learning frameworks for robust, scalable, and computationally efficient flow control that can potentially be applied to more complex flow configurations.
• Abstract（参考訳）: 本研究では,カオス流体の多相性制御のための深部強化学習(DRL)を高速化するための伝達学習戦略について検討する。 タスク間の知識の保存と再利用を目的として設計されたモジュールアーキテクチャであるプログレッシブニューラルネットワーク(PNN)は、DRLベースのフロー制御のコンテキストで初めて使用される。 さらに,従来の微調整戦略の総合的なベンチマークを行い,その性能,収束挙動,伝達知識の保持能力を評価する。 倉本・シヴァシンスキー(KS)システムは,低忠実度環境下で訓練された制御ポリシに符号化された知識を,高忠実度環境へ効果的に転送する方法のベンチマークとして採用されている。 体系的な評価は、微調整は収束を加速するが、事前訓練期間に非常に敏感であり、破滅的な忘れがちであることを示している。 対照的に、PNNは事前知識を保存し、一貫した性能向上を提供することで、安定かつ効率的な転送を可能にし、事前学習フェーズにおける過度な適合に対して顕著に堅牢である。 レイヤワイズ感度分析により、PNNがソースポリシーからの中間表現を動的に再利用し、より深い層を目標タスクに段階的に適応させる方法が明らかにされる。 さらに、微調整戦略が最適でない適応や知識伝達の完全な失敗をもたらす場合など、ソースとターゲット環境が著しく異なる場合でも、PNNは有効である。 この結果は、より複雑なフロー構成に適用可能な、堅牢でスケーラブルで、計算的に効率的なフロー制御のための、新しいトランスファー学習フレームワークの可能性を強調している。

関連論文リスト

• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Invariant Control Strategies for Active Flow Control using Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)を,強化学習(RL)に基づくフロー制御のための有望なアーキテクチャとして導入する。 GNNは非構造三次元フローデータを処理し、カルト格子の制約なしに空間的関係を保存する。 我々は,GNNに基づく制御ポリシが,改良された一般化特性の恩恵を受けながら,既存の手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-28T09:33:40Z)
• CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning [6.738409533239947]
  深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れに苦しむ。 最近のアプローチでは、勾配投影を用いた部分空間の更新が制限されている。 本稿では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality [0.7421845364041001]
  本研究は,流路制御のための深部強化学習法(DRL)の進歩である。 グループ不変ネットワークと位置エンコーディングをDRLアーキテクチャに統合することに注力する。 提案手法はRayleigh-B'enard対流のケーススタディを用いて検証した。
  論文  参考訳（メタデータ） (2024-07-25T07:24:41Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。