論文の概要: Attention on flow control: transformer-based reinforcement learning for lift regulation in highly disturbed flows

• arxiv url: http://arxiv.org/abs/2506.10153v1
• Date: Wed, 11 Jun 2025 20:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.432461
• Title: Attention on flow control: transformer-based reinforcement learning for lift regulation in highly disturbed flows
• Title（参考訳）: 流動制御の注意:高度に乱れた流れにおける昇降制御のための変圧器による強化学習
• Authors: Zhecheng Liu, Jeff D. Eldredge,
• Abstract要約: 本研究では, ピッチ制御によるガスト列の空力昇降制御を効果的に行うための変圧器を用いた強化学習フレームワークを提案する。 学習戦略は,ガッツ数の増加に伴って性能ギャップが拡大し,最高の比例制御よりも優れることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A linear flow control strategy designed for weak disturbances may not remain effective in sequences of strong disturbances due to nonlinear interactions, but it is sensible to leverage it for developing a better strategy. In the present study, we propose a transformer-based reinforcement learning (RL) framework to learn an effective control strategy for regulating aerodynamic lift in gust sequences via pitch control. The transformer addresses the challenge of partial observability from limited surface pressure sensors. We demonstrate that the training can be accelerated with two techniques -- pretraining with an expert policy (here, linear control) and task-level transfer learning (here, extending a policy trained on isolated gusts to multiple gusts). We show that the learned strategy outperforms the best proportional control, with the performance gap widening as the number of gusts increases. The control strategy learned in an environment with a small number of successive gusts is shown to effectively generalize to an environment with an arbitrarily long sequence of gusts. We investigate the pivot configuration and show that quarter-chord pitching control can achieve superior lift regulation with substantially less control effort compared to mid-chord pitching control. Through a decomposition of the lift, we attribute this advantage to the dominant added-mass contribution accessible via quarter-chord pitching. The success on multiple configurations shows the generalizability of the proposed transformer-based RL framework, which offers a promising approach to solve more computationally demanding flow control problems when combined with the proposed acceleration techniques.
• Abstract（参考訳）: 弱い外乱のために設計された線形流制御戦略は、非線形相互作用による強い外乱の列において効果を保たないかもしれないが、より良い方策を開発するためにそれを利用するのは賢明である。 本研究では, ピッチ制御によるガスト列の空力昇降制御を効果的に行うための, 変圧器を用いた強化学習(RL)フレームワークを提案する。 変圧器は、限られた表面圧力センサによる部分観測可能性の課題に対処する。 専門的な政策(以下、線形制御)とタスクレベルの伝達学習(以下、孤立したガストに基づいて訓練されたポリシーを複数のガストへ拡張する)で事前訓練することで、トレーニングを加速できることを実証する。 学習戦略は,ガッツ数の増加に伴って性能ギャップが拡大し,最高の比例制御よりも優れることを示す。 連続したガスト数が少ない環境で得られた制御戦略は、任意に長いガスト列を持つ環境に効果的に一般化することが示されている。 本研究では, ピボット構成を調査し, 四角形ピッチング制御は中弦型ピッチング制御に比べ, 制御労力を著しく少なくして, より優れた昇降制御を実現できることを示す。 昇降機を分解することにより、この利点は四分調ピッチングを通じてアクセス可能な主成分付加質量の寄与によるものと考えられる。 複数の構成での成功は、提案したトランスフォーマーベースのRLフレームワークの一般化可能性を示している。このフレームワークは、提案した加速技術と組み合わせることで、より計算的に要求されるフロー制御問題を解くための有望なアプローチを提供する。

関連論文リスト

• Transformer-Based Fault-Tolerant Control for Fixed-Wing UAVs Using Knowledge Distillation and In-Context Adaptation [3.1498833540989413]
  本研究では, 固定翼無人航空機(UAV)の耐故障性制御のための変圧器を用いたアプローチを提案する。 提案手法は,変換器の学習機構と注意機構を用いて,外部ループ参照値を制御コマンドに直接マッピングする。 実験結果から, トランスフォーマーをベースとした制御器は, 業界標準SFSおよび最先端強化学習法(RL)よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-05T10:24:45Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• DATT: Deep Adaptive Trajectory Tracking for Quadrotor Control [62.24301794794304]
  Deep Adaptive Trajectory Tracking (DATT)は、学習に基づくアプローチであり、現実世界の大きな乱れの存在下で、任意の、潜在的に実現不可能な軌跡を正確に追跡することができる。 DATTは、非定常風場における可溶性および非実用性の両方の軌道に対して、競争適応性非線形およびモデル予測コントローラを著しく上回っている。 適応非線形モデル予測制御ベースラインの1/4未満である3.2ms未満の推論時間で、効率的にオンラインで実行することができる。
  論文  参考訳（メタデータ） (2023-10-13T12:22:31Z)
• A Reinforcement Learning Approach for Robust Supervisory Control of UAVs Under Disturbances [1.8799681615947088]
  無人航空機(UAV)の監視強化学習制御手法を提案する。 我々は,既存の組込み制御と交差する監視制御アーキテクチャを定式化し,悪風の形での環境障害に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2023-05-21T19:00:06Z)
• Learning Pneumatic Non-Prehensile Manipulation with a Mobile Blower [30.032847855193864]
  管制官は 常に 行動の予期せぬ変化に 適応しなければならない。 本稿では,空間行動マップフレームワークのマルチ周波数バージョンを紹介する。 これにより、高レベルの計画と低レベルのクローズドループ制御を効果的に組み合わせたビジョンベースのポリシーの効率的な学習が可能になる。
  論文  参考訳（メタデータ） (2022-04-05T17:55:58Z)
• Optimizing Airborne Wind Energy with Reinforcement Learning [0.0]
  強化学習(Reinforcement Learning)は、システムの事前の知識を必要とせずに、観察と利益ある行動とを関連付ける技術である。 シミュレーション環境において、強化学習は、遠距離で車両を牽引できるように、カイトを効率的に制御する方法を見出した。
  論文  参考訳（メタデータ） (2022-03-27T10:28:16Z)
• Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion [95.1825179206694]
  四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。 高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。 確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
  論文  参考訳（メタデータ） (2020-09-21T16:49:26Z)
• Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [74.49173841304474]
  ラグランジアン法は振動とオーバーシュートを示し、安全強化学習に適用すると制約違反行動を引き起こす。 制約関数の微分を利用する新しいラグランジュ乗算器更新法を提案する。 我々はPIDラグランジアン法を深部RLに適用し、安全RLベンチマークであるSafety Gymにおける新しい技術状態を設定する。
  論文  参考訳（メタデータ） (2020-07-08T08:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。