論文の概要: Asynchronous Parallel Reinforcement Learning for Optimizing Propulsive
Performance in Fin Ray Control
- arxiv url: http://arxiv.org/abs/2401.11349v1
- Date: Sun, 21 Jan 2024 00:06:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 16:54:46.885036
- Title: Asynchronous Parallel Reinforcement Learning for Optimizing Propulsive
Performance in Fin Ray Control
- Title（参考訳）: フィン線制御における脈動性能最適化のための非同期並列強化学習
- Authors: Xin-Yang Liu, Dariush Bodaghi, Qian Xue, Xudong Zheng, Jian-Xun Wang
- Abstract要約: 魚のひれは、万能な移動を促進するために、魚のひれを固定した魚の高度な制御システムを構成する。
魚の移動のキネマティクスと流体力学の広範な研究にもかかわらず、フィン線運動における複雑な制御戦略はほとんど解明されていない。
本研究では,様々な推進性能目標に適した複雑なフィン線制御戦略を得るために,流体構造相互作用(FSI)環境と相互作用する最先端のオフポリチックDRLアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 3.889677386753812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fish fin rays constitute a sophisticated control system for ray-finned fish,
facilitating versatile locomotion within complex fluid environments. Despite
extensive research on the kinematics and hydrodynamics of fish locomotion, the
intricate control strategies in fin-ray actuation remain largely unexplored.
While deep reinforcement learning (DRL) has demonstrated potential in managing
complex nonlinear dynamics; its trial-and-error nature limits its application
to problems involving computationally demanding environmental interactions.
This study introduces a cutting-edge off-policy DRL algorithm, interacting with
a fluid-structure interaction (FSI) environment to acquire intricate fin-ray
control strategies tailored for various propulsive performance objectives. To
enhance training efficiency and enable scalable parallelism, an innovative
asynchronous parallel training (APT) strategy is proposed, which fully
decouples FSI environment interactions and policy/value network optimization.
The results demonstrated the success of the proposed method in discovering
optimal complex policies for fin-ray actuation control, resulting in a superior
propulsive performance compared to the optimal sinusoidal actuation function
identified through a parametric grid search. The merit and effectiveness of the
APT approach are also showcased through comprehensive comparison with
conventional DRL training strategies in numerical experiments of controlling
nonlinear dynamics.
- Abstract（参考訳）: 魚のひれは、複雑な流体環境下での多目的移動を促進するため、魚のひれ制御システムを構成する。
魚の移動のキネマティクスと流体力学の広範な研究にもかかわらず、フィン線運動における複雑な制御戦略はほとんど解明されていない。
深層強化学習(drl)は複雑な非線形ダイナミクスを管理する可能性を示したが、その試行錯誤性は、計算上環境相互作用を必要とする問題への応用を制限している。
本研究では,様々な推進性能目標に適した複雑なフィン線制御戦略を得るために,流体構造相互作用(FSI)環境と相互作用する最先端のオフポリチックDRLアルゴリズムを提案する。
学習効率を向上し,拡張性のある並列性を実現するために,FSI環境の相互作用とポリシ/バリューネットワーク最適化を完全に分離する,革新的な非同期並列トレーニング(APT)戦略を提案する。
その結果, パラメトリックグリッド探索により同定された最適正弦波作動関数と比較して, フィン線作動制御の最適複素ポリシの発見に成功し, 脈動特性が向上した。
また, 非線形力学制御の数値実験において, 従来のDRLトレーニング戦略と総合的に比較して, APTアプローチの有効性と有効性を示す。
関連論文リスト
- SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。
SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。
我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-14T05:17:39Z) - Optimal Parallelization Strategies for Active Flow Control in Deep Reinforcement Learning-Based Computational Fluid Dynamics [29.49913315698914]
Deep Reinforcement Learning (DRL) は、高ダイナミックかつ非線形なアクティブフロー制御(AFC)問題を扱うための有望なアプローチとして登場した。
本研究では、DRLに基づくアルゴリズムを並列設定で最適化することに焦点を当てる。
並列効率を約49%から約78%に向上させる。
論文 参考訳（メタデータ） (2024-02-18T09:07:30Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - Guaranteed Conservation of Momentum for Learning Particle-based Fluid
Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。
我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。
提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-10-12T09:12:59Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳（メタデータ） (2022-04-14T17:46:26Z) - Trajectory Tracking of Underactuated Sea Vessels With Uncertain
Dynamics: An Integral Reinforcement Learning Approach [2.064612766965483]
積分強化学習に基づくオンライン機械学習メカニズムを提案し,非線形追跡問題のクラスに対する解を求める。
このソリューションは、適応的批評家と勾配降下アプローチを用いて実現されるオンライン価値反復プロセスを用いて実装される。
論文 参考訳（メタデータ） (2021-04-01T01:41:49Z) - Single-step deep reinforcement learning for open-loop control of laminar
and turbulent flows [0.0]
本研究は,流体力学系の最適化と制御を支援するための深部強化学習(DRL)技術の能力を評価する。
原型ポリシー最適化(PPO)アルゴリズムの新たな"退化"バージョンを組み合わせることで、学習エピソード当たり1回だけシステムを最適化するニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-06-04T16:11:26Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳（メタデータ） (2020-05-25T01:42:55Z) - Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。
我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。
これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文 参考訳（メタデータ） (2020-02-10T04:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。