論文の概要: Invariant Control Strategies for Active Flow Control using Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2503.22775v1
• Date: Fri, 28 Mar 2025 09:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:33:18.267119
• Title: Invariant Control Strategies for Active Flow Control using Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークを用いたアクティブフロー制御のための不変制御法
• Authors: Marius Kurz, Rohan Kaushik, Marcel Blind, Patrick Kopper, Anna Schwarz, Felix Rodach, Andrea Beck,
• Abstract要約: グラフニューラルネットワーク(GNN)を,強化学習(RL)に基づくフロー制御のための有望なアーキテクチャとして導入する。 GNNは非構造三次元フローデータを処理し、カルト格子の制約なしに空間的関係を保存する。 我々は,GNNに基づく制御ポリシが,改良された一般化特性の恩恵を受けながら,既存の手法に匹敵する性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Reinforcement learning has gained traction for active flow control tasks, with initial applications exploring drag mitigation via flow field augmentation around a two-dimensional cylinder. RL has since been extended to more complex turbulent flows and has shown significant potential in learning complex control strategies. However, such applications remain computationally challenging due to its sample inefficiency and associated simulation costs. This fact is worsened by the lack of generalization capabilities of these trained policy networks, often being implicitly tied to the input configurations of their training conditions. In this work, we propose the use of graph neural networks to address this particular limitation, effectively increasing the range of applicability and getting more value out of the upfront RL training cost. GNNs can naturally process unstructured, threedimensional flow data, preserving spatial relationships without the constraints of a Cartesian grid. Additionally, they incorporate rotational, reflectional, and permutation invariance into the learned control policies, thus improving generalization and thereby removing the shortcomings of commonly used CNN or MLP architectures. To demonstrate the effectiveness of this approach, we revisit the well-established two-dimensional cylinder benchmark problem for active flow control. The RL training is implemented using Relexi, a high-performance RL framework, with flow simulations conducted in parallel using the high-order discontinuous Galerkin framework FLEXI. Our results show that GNN-based control policies achieve comparable performance to existing methods while benefiting from improved generalization properties. This work establishes GNNs as a promising architecture for RL-based flow control and highlights the capabilities of Relexi and FLEXI for large-scale RL applications in fluid dynamics.
• Abstract（参考訳）: 強化学習はアクティブなフロー制御タスクの牽引力を高めており、初期応用は2次元シリンダーまわりの流れ場増強によるドラッグ緩和を探索している。 その後、RLはより複雑な乱流に拡張され、複雑な制御戦略を学習する大きな可能性を示している。 しかし、サンプルの非効率性とそれに伴うシミュレーションコストのため、そのような応用は計算的に難しいままである。 この事実は、これらのトレーニングされたポリシーネットワークの一般化能力の欠如により悪化し、しばしばトレーニング条件の入力構成に暗黙的に結びついている。 本研究では,この制限にグラフニューラルネットワークを用いて対処し,適用範囲を効果的に増やし,事前のRLトレーニングコストからより多くの価値を得る方法を提案する。 GNNは自然に非構造三次元フローデータを処理でき、カルト格子の制約なしに空間的関係を保存することができる。 さらに、学習した制御ポリシーに回転、反射、置換の不変性を取り入れ、一般化を改善し、一般的に使用されるCNNやMLPアーキテクチャの欠点を取り除く。 提案手法の有効性を実証するため, アクティブフロー制御のためのよく確立された2次元シリンダーベンチマーク問題を再検討する。 RLトレーニングは高性能なRLフレームワークであるRelexiを用いて実施され、高次不連続なGalerkinフレームワークFLEXIを用いて並列にフローシミュレーションを行う。 この結果から,GNNに基づく制御ポリシは,改良された一般化特性の恩恵を受けながら,既存の手法に匹敵する性能を達成できることが示唆された。 この研究は、GNNをRLベースのフロー制御のための有望なアーキテクチャとして確立し、流体力学における大規模RLアプリケーションのためのRelexiとFLEXIの機能を強調した。

関連論文リスト

• SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning [49.83621156017321]
  SimBaは、単純さのバイアスを注入することによって、深いRLでパラメータをスケールアップするように設計されたアーキテクチャである。 SimBaでパラメータをスケールアップすることで、オフポリシー、オンポリシー、アン教師なしメソッドを含む様々なディープRLアルゴリズムのサンプル効率が一貫して改善される。
  論文  参考訳（メタデータ） (2024-10-13T07:20:53Z)
• Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality [0.7421845364041001]
  本研究は,流路制御のための深部強化学習法(DRL)の進歩である。 グループ不変ネットワークと位置エンコーディングをDRLアーキテクチャに統合することに注力する。 提案手法はRayleigh-B'enard対流のケーススタディを用いて検証した。
  論文  参考訳（メタデータ） (2024-07-25T07:24:41Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Closed-form congestion control via deep symbolic regression [1.5961908901525192]
  強化学習(RL)アルゴリズムは、超低レイテンシおよび高スループットシナリオにおける課題を処理することができる。 実際のデプロイメントにおけるニューラルネットワークモデルの採用は、リアルタイムの推論と解釈可能性に関して、依然としていくつかの課題を提起している。 本稿では,性能と一般化能力を維持しつつ,このような課題に対処する方法論を提案する。
  論文  参考訳（メタデータ） (2024-03-28T14:31:37Z)
• SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
  SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。 SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。 我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-14T05:17:39Z)
• Generative Flow Networks as Entropy-Regularized RL [4.857649518812728]
  生成フローネットワーク(ジェネレーティブフローネットワーク、英:generative flow network、GFlowNets)は、一連の行動を通じて与えられた報酬に比例確率を持つ合成対象をサンプリングするためのポリシーを訓練する手法である。 生成フローネットワークの学習作業は,エントロピー規則化強化学習問題として効率的に行うことができることを示す。 先に報告した結果とは対照的に,エントロピー的RLアプローチは,既存のGFlowNetトレーニング手法と競合する可能性がある。
  論文  参考訳（メタデータ） (2023-10-19T17:31:40Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• FORLORN: A Framework for Comparing Offline Methods and Reinforcement Learning for Optimization of RAN Parameters [0.0]
  本稿では,ネットワーク環境におけるRLエージェントの性能をns-3でシミュレートする新しいフレームワークを提案する。 このフレームワークでは、ドメイン固有の知識を持たないRLエージェントが、静的シナリオにおけるオフライン最適化に適合するように、Radio Access Network(RAN)パラメータを効率的に調整する方法を学習できることを実証する。
  論文  参考訳（メタデータ） (2022-09-08T12:58:09Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。