論文の概要: Symmetry reduction for deep reinforcement learning active control of
chaotic spatiotemporal dynamics
- arxiv url: http://arxiv.org/abs/2104.05437v1
- Date: Fri, 9 Apr 2021 17:55:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 13:49:00.428536
- Title: Symmetry reduction for deep reinforcement learning active control of
chaotic spatiotemporal dynamics
- Title（参考訳）: カオス時空間力学の深部強化学習能動制御のための対称性の低減
- Authors: Kevin Zeng, Michael D. Graham
- Abstract要約: 深層強化学習(RL)は、高次元システムにおけるマクロな目的のための複雑な制御戦略を発見することができる。
本研究では,深部RL問題を対称還元空間へ移動させることにより,深部RLのナイーブ応用に内在する制約を緩和できることを示した。
我々は, 対称性を低減した深部RLは, ナイーブ深部RLよりもデータ効率が向上し, 制御ポリシの有効性が向上することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (RL) is a data-driven, model-free method capable
of discovering complex control strategies for macroscopic objectives in
high-dimensional systems, making its application towards flow control
promising. Many systems of flow control interest possess symmetries that, when
neglected, can significantly inhibit the learning and performance of a naive
deep RL approach. Using a test-bed consisting of the Kuramoto-Sivashinsky
Equation (KSE), equally spaced actuators, and a goal of minimizing dissipation
and power cost, we demonstrate that by moving the deep RL problem to a
symmetry-reduced space, we can alleviate limitations inherent in the naive
application of deep RL. We demonstrate that symmetry-reduced deep RL yields
improved data efficiency as well as improved control policy efficacy compared
to policies found by naive deep RL. Interestingly, the policy learned by the
the symmetry aware control agent drives the system toward an equilibrium state
of the forced KSE that is connected by continuation to an equilibrium of the
unforced KSE, despite having been given no explicit information regarding its
existence. I.e., to achieve its goal, the RL algorithm discovers and stabilizes
an equilibrium state of the system. Finally, we demonstrate that the
symmetry-reduced control policy is robust to observation and actuation signal
noise, as well as to system parameters it has not observed before.
- Abstract（参考訳）: 深部強化学習(英: Deep reinforcement learning, RL)は、高次元システムにおけるマクロ目的のための複雑な制御戦略を発見するためのデータ駆動型モデルフリー手法である。
フロー制御利害の多くのシステムは、無視された場合、単純な深いRLアプローチの学習と性能を著しく阻害する対称性を持っている。
倉本・シヴァシンスキー方程式 (KSE) と等間隔アクチュエータからなるテストベッドと、散逸と電力コストの最小化を目標とし、深いRL問題を対称性還元空間に移動させることにより、深いRLのナイーブな応用に固有の制限を緩和できることを示した。
我々は, 対称性を低減した深部RLは, ナイーブ深部RLよりもデータ効率が向上し, 制御ポリシの有効性が向上することを示した。
興味深いことに、対称性認識制御剤によって学習されたポリシーは、その存在について明確な情報が与えられていないにもかかわらず、無力KSEの平衡に連続して連結された強制KSEの平衡状態に向かってシステムを駆動する。
目的を達成するために、RLアルゴリズムはシステムの平衡状態を発見し、安定化する。
最後に, 対称性低減制御ポリシは, 観測やアクティベーション信号ノイズに対して頑健であり, これまでに観測されなかったシステムパラメータにも頑健であることを示す。
関連論文リスト
- SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.59265003686955]
SINDy-RLは,SINDyと深層強化学習を組み合わせたフレームワークである。
SINDy-RLは最先端のDRLアルゴリズムに匹敵する性能を達成する。
我々は,ベンチマーク制御環境と流体問題に対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-14T05:17:39Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed
Stability in Nonlinear Dynamical Systems [66.9461097311667]
形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。
提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。
我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
論文 参考訳（メタデータ） (2022-06-03T17:27:04Z) - Data-driven control of spatiotemporal chaos with reduced-order neural
ODE-based models and reinforcement learning [0.0]
ディープラーニングは、高次元システムの複雑な制御戦略を発見することができ、フロー制御アプリケーションに期待できる。
RLに関連する大きな課題は、ターゲットシステムと繰り返し対話することによって、実質的なトレーニングデータを生成する必要があることだ。
我々は、RLトレーニング中に真のシステムを配置したデータ駆動リダクション・オーダー・モデル(ROM)を用いて、最適なポリシーを効率的に推定する。
ROMベースの制御戦略は真のKSEによく似ており、RLエージェントがKSEシステムの根底にある強制平衡解を発見し、安定化することを強調する。
論文 参考訳（メタデータ） (2022-05-01T23:25:44Z) - Steady-State Error Compensation in Reference Tracking and Disturbance
Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。
アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。
この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
論文 参考訳（メタデータ） (2022-01-31T16:29:19Z) - Sparsity in Partially Controllable Linear Systems [56.142264865866636]
本研究では, 部分制御可能な線形力学系について, 基礎となる空間パターンを用いて検討する。
最適制御には無関係な状態変数を特徴付ける。
論文 参考訳（メタデータ） (2021-10-12T16:41:47Z) - Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。
既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。
我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
論文 参考訳（メタデータ） (2021-05-17T20:16:46Z) - Online Algorithms and Policies Using Adaptive and Machine Learning
Approaches [0.22020053359163297]
非線形力学系の2つのクラスが考慮され、どちらも制御アフィンである。
本稿では,外ループにおける強化学習に基づくポリシーの組み合わせを,名目力学の安定性と最適性を確保するために好適に選択する。
リアルタイム制御による安定性保証の確立に加えて、AC-RLコントローラは、持続的な励振を伴うパラメータ学習につながることも示している。
論文 参考訳（メタデータ） (2021-05-13T22:51:25Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳（メタデータ） (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。