論文の概要: Control of a fly-mimicking flyer in complex flow using deep
reinforcement learning
- arxiv url: http://arxiv.org/abs/2111.03454v1
- Date: Thu, 4 Nov 2021 04:48:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 16:11:06.101855
- Title: Control of a fly-mimicking flyer in complex flow using deep
reinforcement learning
- Title（参考訳）: 深部強化学習による複雑な流れにおけるフライミミングフライアの制御
- Authors: Seungpyo Hong, Sejin Kim, Donghyun You
- Abstract要約: 複雑な流れにおけるフライスケールフレキシブル翼フライア制御のための計算流体構造力学(CFD-CSD)と深部強化学習(deep-RL)の統合フレームワークを開発した。
正確なデータを得るために、CFD-CSDを用いて力学を正確に予測する。
十分なデータを得るために、得られたデータを様々な状況で再現する新しいデータ再生方法が考案された。
- 参考スコア（独自算出の注目度）: 0.12891210250935145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An integrated framework of computational fluid-structural dynamics (CFD-CSD)
and deep reinforcement learning (deep-RL) is developed for control of a
fly-scale flexible-winged flyer in complex flow. Dynamics of the flyer in
complex flow is highly unsteady and nonlinear, which makes modeling the
dynamics challenging. Thus, conventional control methodologies, where the
dynamics is modeled, are insufficient for regulating such complicated dynamics.
Therefore, in the present study, the integrated framework, in which the whole
governing equations for fluid and structure are solved, is proposed to generate
a control policy for the flyer. For the deep-RL to successfully learn the
control policy, accurate and ample data of the dynamics are required. However,
satisfying both the quality and quantity of the data on the intricate dynamics
is extremely difficult since, in general, more accurate data are more costly.
In the present study, two strategies are proposed to deal with the dilemma. To
obtain accurate data, the CFD-CSD is adopted for precisely predicting the
dynamics. To gain ample data, a novel data reproduction method is devised,
where the obtained data are replicated for various situations while conserving
the dynamics. With those data, the framework learns the control policy in
various flow conditions and the learned policy is shown to have remarkable
performance in controlling the flyer in complex flow fields.
- Abstract（参考訳）: 複雑な流れにおけるフライスケールフレキシブル翼フライア制御のための計算流体構造力学(CFD-CSD)と深部強化学習(deep-RL)の統合フレームワークを開発した。
複素流れにおけるフライヤーの動力学は非定常で非線形であるため、モデリングは困難である。
したがって、ダイナミクスをモデル化する従来の制御方法論は、そのような複雑なダイナミクスを規制するには不十分である。
そこで本研究では, 流体と構造に関する支配方程式全体を解いた統合的枠組みを提案し, フライアの制御方針を立案した。
深部RLが制御ポリシをうまく学習するには、ダイナミックスの正確かつ十分なデータが必要である。
しかし、より正確なデータの方がコストが高いため、複雑な力学上のデータの品質と量の両方を満たすことは極めて困難である。
本研究では,ジレンマに対処する2つの戦略を提案する。
正確なデータを得るために、CFD-CSDを用いて力学を正確に予測する。
豊富なデータを得るために、得られたデータを動的に保存しながら、様々な状況で複製する新しいデータ再生方法が考案される。
これらのデータを用いて, 各種流れ条件における制御ポリシを学習し, 複雑な流れ場におけるフライア制御において, 学習ポリシは顕著な性能を示した。
関連論文リスト
- SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。
SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。
我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-14T05:17:39Z) - Controlling dynamical systems to complex target states using machine
learning: next-generation vs. classical reservoir computing [68.8204255655161]
機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。
まず, 従来の貯水池計算が優れていることを示す。
次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。
その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
論文 参考訳（メタデータ） (2023-07-14T07:05:17Z) - How to Control Hydrodynamic Force on Fluidic Pinball via Deep
Reinforcement Learning [3.1635451288803638]
流体ピンボールの流体力を制御するためのDRLに基づくリアルタイムフィードバック戦略を提案する。
報酬関数を適切に設計し、歴史的観測を符号化することにより、DRLに基づく制御が合理的かつ有効な制御決定を行うことを示した。
これらの結果の1つは、力追跡プロセスの意思決定と物理的メカニズムに基づいて光を放つことができる機械学習モデルによって分析された。
論文 参考訳（メタデータ） (2023-04-23T03:39:50Z) - Learning Control-Oriented Dynamical Structure from Data [25.316358215670274]
一般非線形制御アフィン系に対する状態依存非線形トラッキングコントローラの定式化について論じる。
安定軌跡追跡における学習版の有効性を実証的に実証した。
論文 参考訳（メタデータ） (2023-02-06T02:01:38Z) - Data efficient reinforcement learning and adaptive optimal perimeter
control of network traffic dynamics [0.0]
本研究は、適応最適周波制御のためのマクロトラフィックダイナミクスの学習のための積分強化学習(IRL)に基づくアプローチを提案する。
サンプリングの複雑さを低減し、利用可能なデータをより効率的に利用するために、IRLアルゴリズムに経験再生(ER)技術を導入している。
IRLに基づくアルゴリズムの収束と制御された交通力学の安定性は、リャプノフ理論によって証明される。
論文 参考訳（メタデータ） (2022-09-13T04:28:49Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳（メタデータ） (2022-06-07T13:51:35Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳（メタデータ） (2022-02-25T20:00:56Z) - Multi-intersection Traffic Optimisation: A Benchmark Dataset and a
Strong Baseline [85.9210953301628]
交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。
問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。
エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
論文 参考訳（メタデータ） (2021-01-24T03:55:39Z) - Context-aware Dynamics Model for Generalization in Model-Based
Reinforcement Learning [124.9856253431878]
グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。
本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。
提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
論文 参考訳（メタデータ） (2020-05-14T08:10:54Z) - Hierarchical Decomposition of Nonlinear Dynamics and Control for System
Identification and Policy Distillation [39.83837705993256]
強化学習(RL)の最近のトレンドは、力学と政策の複雑な表現に焦点を当てている。
制御コミュニティからインスピレーションを得て、複雑なダイナミクスをより単純なコンポーネントに分解するために、ハイブリッドスイッチングシステムの原則を適用します。
論文 参考訳（メタデータ） (2020-05-04T12:40:59Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。