論文の概要: Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems

• arxiv url: http://arxiv.org/abs/2007.12291v2
• Date: Fri, 3 Jun 2022 17:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 12:22:23.940518
• Title: Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems
• Title（参考訳）: 線形力学系における高速安定化による強化学習
• Authors: Sahin Lale, Kamyar Azizzadenesheli, Babak Hassibi, Anima Anandkumar
• Abstract要約: 未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。 本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。 提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
• 参考スコア（独自算出の注目度）: 91.43582419264763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study model-based reinforcement learning (RL) in unknown stabilizable linear dynamical systems. When learning a dynamical system, one needs to stabilize the unknown dynamics in order to avoid system blow-ups. We propose an algorithm that certifies fast stabilization of the underlying system by effectively exploring the environment with an improved exploration strategy. We show that the proposed algorithm attains $\tilde{\mathcal{O}}(\sqrt{T})$ regret after $T$ time steps of agent-environment interaction. We also show that the regret of the proposed algorithm has only a polynomial dependence in the problem dimensions, which gives an exponential improvement over the prior methods. Our improved exploration method is simple, yet efficient, and it combines a sophisticated exploration policy in RL with an isotropic exploration strategy to achieve fast stabilization and improved regret. We empirically demonstrate that the proposed algorithm outperforms other popular methods in several adaptive control tasks.
• Abstract（参考訳）: 本研究では,未知安定化線形力学系におけるモデルベース強化学習(rl)について検討する。 力学系を学ぶとき、システムの爆破を避けるために未知の力学を安定させる必要がある。 本研究では,環境を効果的に探索することで,基礎システムの高速安定化を証明できるアルゴリズムを提案する。 提案アルゴリズムはエージェント環境相互作用の時間ステップで$T$の後に$\tilde{\mathcal{O}}(\sqrt{T})$の後悔が得られることを示す。 また,提案アルゴリズムの後悔は問題次元に多項式依存性しか持たず,従来の手法よりも指数関数的に改善できることを示した。 改良された探査法は単純かつ効率的であり,RLの洗練された探査方針と等方的探査戦略を組み合わせ,高速な安定化と後悔の改善を図っている。 提案アルゴリズムは,いくつかの適応制御タスクにおいて,他の一般的な手法よりも優れていることを示す。

関連論文リスト

• Stochastic Reinforcement Learning with Stability Guarantees for Control of Unknown Nonlinear Systems [6.571209126567701]
  本稿では,力学の局所線形表現を学習することでシステムを安定化する強化学習アルゴリズムを提案する。 本稿では,いくつかの高次元力学系におけるアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-12T20:07:54Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Learning to Control under Time-Varying Environment [18.48729114775298]
  本稿では,線形時間変化(LTV)力学系における後悔の問題について検討する。 提案するオンラインアルゴリズムは, 計算に難易度を保証した最初のオンラインアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-06T11:40:46Z)
• Stabilizing Dynamical Systems via Policy Gradient Methods [32.88312419270879]
  完全に観察された力学系を安定化するためのモデルフリーなアルゴリズムを提案する。 本研究では,線形システムの安定化制御を効率よく行うことを証明する。 我々は,共通制御ベンチマークにおけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2021-10-13T00:58:57Z)
• Imitation Learning of Stabilizing Policies for Nonlinear Systems [1.52292571922932]
  線形システムやコントローラ向けに開発された手法は,平方の和を用いて容易にコントローラに拡張できることが示されている。 予測勾配降下法とアルゴリズムの交互方向法を, 安定化模倣学習問題に対して提案する。
  論文  参考訳（メタデータ） (2021-09-22T17:27:19Z)
• Reinforcement Learning Policies in Continuous-Time Linear Systems [0.0]
  パラメータ推定を慎重にランダムにすることで、最適行動の学習を迅速に行うオンラインポリシーを提案する。 非接触系の力学に対する鋭い安定性を証明し、準最適動作による無限小の後悔を厳密に特定する。 我々の分析は、継続的強化学習における基本的な課題に光を当て、同様の問題に対する有用な基礎となることを示唆している。
  論文  参考訳（メタデータ） (2021-09-16T00:08:50Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。