論文の概要: Reinforcement Learning with Fast Stabilization in Linear Dynamical
Systems
- arxiv url: http://arxiv.org/abs/2007.12291v2
- Date: Fri, 3 Jun 2022 17:50:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 12:22:23.940518
- Title: Reinforcement Learning with Fast Stabilization in Linear Dynamical
Systems
- Title(参考訳): 線形力学系における高速安定化による強化学習
- Authors: Sahin Lale, Kamyar Azizzadenesheli, Babak Hassibi, Anima Anandkumar
- Abstract要約: 未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。
本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。
提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
- 参考スコア(独自算出の注目度): 91.43582419264763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we study model-based reinforcement learning (RL) in unknown
stabilizable linear dynamical systems. When learning a dynamical system, one
needs to stabilize the unknown dynamics in order to avoid system blow-ups. We
propose an algorithm that certifies fast stabilization of the underlying system
by effectively exploring the environment with an improved exploration strategy.
We show that the proposed algorithm attains $\tilde{\mathcal{O}}(\sqrt{T})$
regret after $T$ time steps of agent-environment interaction. We also show that
the regret of the proposed algorithm has only a polynomial dependence in the
problem dimensions, which gives an exponential improvement over the prior
methods. Our improved exploration method is simple, yet efficient, and it
combines a sophisticated exploration policy in RL with an isotropic exploration
strategy to achieve fast stabilization and improved regret. We empirically
demonstrate that the proposed algorithm outperforms other popular methods in
several adaptive control tasks.
- Abstract(参考訳): 本研究では,未知安定化線形力学系におけるモデルベース強化学習(rl)について検討する。
力学系を学ぶとき、システムの爆破を避けるために未知の力学を安定させる必要がある。
本研究では,環境を効果的に探索することで,基礎システムの高速安定化を証明できるアルゴリズムを提案する。
提案アルゴリズムはエージェント環境相互作用の時間ステップで$T$の後に$\tilde{\mathcal{O}}(\sqrt{T})$の後悔が得られることを示す。
また,提案アルゴリズムの後悔は問題次元に多項式依存性しか持たず,従来の手法よりも指数関数的に改善できることを示した。
改良された探査法は単純かつ効率的であり,RLの洗練された探査方針と等方的探査戦略を組み合わせ,高速な安定化と後悔の改善を図っている。
提案アルゴリズムは,いくつかの適応制御タスクにおいて,他の一般的な手法よりも優れていることを示す。
関連論文リスト
- FLEX: an Adaptive Exploration Algorithm for Nonlinear Systems [6.612035830987298]
本稿では,最適設計に基づく非線形力学探索アルゴリズムFLEXを紹介する。
本ポリシーは,次のステップに関する情報を最大化し,適応探索アルゴリズムを実現する。
FLEXによる性能は競争力があり、計算コストも低い。
論文 参考訳(メタデータ) (2023-04-26T10:20:55Z) - Guaranteed Conservation of Momentum for Learning Particle-based Fluid
Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。
我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。
提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-10-12T09:12:59Z) - Log Barriers for Safe Black-box Optimization with Application to Safe
Reinforcement Learning [72.97229770329214]
本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。
LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。
安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-07-21T11:14:47Z) - Learning to Control under Time-Varying Environment [18.48729114775298]
本稿では,線形時間変化(LTV)力学系における後悔の問題について検討する。
提案するオンラインアルゴリズムは, 計算に難易度を保証した最初のオンラインアルゴリズムである。
論文 参考訳(メタデータ) (2022-06-06T11:40:46Z) - Stabilizing Dynamical Systems via Policy Gradient Methods [32.88312419270879]
完全に観察された力学系を安定化するためのモデルフリーなアルゴリズムを提案する。
本研究では,線形システムの安定化制御を効率よく行うことを証明する。
我々は,共通制御ベンチマークにおけるアプローチの有効性を実証的に評価した。
論文 参考訳(メタデータ) (2021-10-13T00:58:57Z) - Imitation Learning of Stabilizing Policies for Nonlinear Systems [1.52292571922932]
線形システムやコントローラ向けに開発された手法は,平方の和を用いて容易にコントローラに拡張できることが示されている。
予測勾配降下法とアルゴリズムの交互方向法を, 安定化模倣学習問題に対して提案する。
論文 参考訳(メタデータ) (2021-09-22T17:27:19Z) - Reinforcement Learning Policies in Continuous-Time Linear Systems [0.0]
パラメータ推定を慎重にランダムにすることで、最適行動の学習を迅速に行うオンラインポリシーを提案する。
非接触系の力学に対する鋭い安定性を証明し、準最適動作による無限小の後悔を厳密に特定する。
我々の分析は、継続的強化学習における基本的な課題に光を当て、同様の問題に対する有用な基礎となることを示唆している。
論文 参考訳(メタデータ) (2021-09-16T00:08:50Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳(メタデータ) (2021-04-09T14:50:59Z) - Chance-Constrained Trajectory Optimization for Safe Exploration and
Learning of Nonlinear Systems [81.7983463275447]
学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。
本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-09T05:57:43Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳(メタデータ) (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。