論文の概要: Reinforcement Learning Policies in Continuous-Time Linear Systems

• arxiv url: http://arxiv.org/abs/2109.07630v3
• Date: Wed, 7 Jun 2023 23:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 22:37:16.226777
• Title: Reinforcement Learning Policies in Continuous-Time Linear Systems
• Title（参考訳）: 連続時間線形システムにおける強化学習方針
• Authors: Mohamad Kazem Shirani Faradonbeh, Mohamad Sadegh Shirani Faradonbeh
• Abstract要約: パラメータ推定を慎重にランダムにすることで、最適行動の学習を迅速に行うオンラインポリシーを提案する。 非接触系の力学に対する鋭い安定性を証明し、準最適動作による無限小の後悔を厳密に特定する。 我々の分析は、継続的強化学習における基本的な課題に光を当て、同様の問題に対する有用な基礎となることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear dynamical systems that obey stochastic differential equations are canonical models. While optimal control of known systems has a rich literature, the problem is technically hard under model uncertainty and there are hardly any results. We initiate study of this problem and aim to learn (and simultaneously deploy) optimal actions for minimizing a quadratic cost function. Indeed, this work is the first that comprehensively addresses the crucial challenge of balancing exploration versus exploitation in continuous-time systems. We present online policies that learn optimal actions fast by carefully randomizing the parameter estimates, and establish their performance guarantees: a regret bound that grows with square-root of time multiplied by the number of parameters. Implementation of the policy for a flight-control task demonstrates its efficacy. Further, we prove sharp stability results for inexact system dynamics and tightly specify the infinitesimal regret caused by sub-optimal actions. To obtain the results, we conduct a novel eigenvalue-sensitivity analysis for matrix perturbation, establish upper-bounds for comparative ratios of stochastic integrals, and introduce the new method of policy differentiation. Our analysis sheds light on fundamental challenges in continuous-time reinforcement learning and suggests a useful cornerstone for similar problems.
• Abstract（参考訳）: 確率微分方程式に従う線形力学系は標準模型である。 既知のシステムの最適制御には豊富な文献があるが、問題はモデルの不確実性の下で技術的に困難であり、結果はほとんどない。 我々は、この問題の研究を開始し、二次コスト関数を最小化するための最適なアクションを学習(かつ同時にデプロイ)することを目指している。 実際、この作業は、継続的システムにおける探索とエクスプロイトのバランスをとるという重要な課題を包括的に解決する最初のものです。 パラメータ推定を慎重にランダム化し、パラメータ数に乗じて2乗の時間で成長する後悔境界という性能保証を確立することで、最適な行動の学習を迅速に行うオンラインポリシーを提案する。 飛行制御タスクのポリシーの実装は、その有効性を示す。 さらに,不正確な系の力学に対する鋭い安定性を証明し,準最適動作による無限小後悔を厳格に特定する。 この結果を得るために, 行列摂動に対する新しい固有値-感度解析を行い, 確率積分の比較比の上界を定式化し, 新たな方針分化法を提案する。 本分析は,連続時間強化学習における基本的な課題を浮き彫りにし,同様の問題に対する有用な基礎を示唆する。

関連論文リスト

• Learning Controlled Stochastic Differential Equations [61.82896036131116]
  本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。 我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。 当社のメソッドはオープンソースPythonライブラリとして利用可能です。
  論文  参考訳（メタデータ） (2024-11-04T11:09:58Z)
• Stochastic Reinforcement Learning with Stability Guarantees for Control of Unknown Nonlinear Systems [6.571209126567701]
  本稿では,力学の局所線形表現を学習することでシステムを安定化する強化学習アルゴリズムを提案する。 本稿では,いくつかの高次元力学系におけるアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-12T20:07:54Z)
• Sublinear Regret for a Class of Continuous-Time Linear--Quadratic Reinforcement Learning Problems [10.404992912881601]
  拡散に対する連続時間線形四元数制御(LQ)のクラスに対する強化学習について検討した。 本研究では,モデルパラメータの知識にも,その推定にも依存しないモデルフリーアプローチを適用し,最適なポリシーパラメータを直接学習するためのアクタ批判アルゴリズムを考案する。
  論文  参考訳（メタデータ） (2024-07-24T12:26:21Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Risk-Sensitive Stochastic Optimal Control as Rao-Blackwellized Markovian Score Climbing [3.9410617513331863]
  動的システムの最適制御は、シーケンシャルな意思決定において重要な課題である。 コントロール・アズ・推論のアプローチは大きな成功をおさめ、探索・探索ジレンマに対処するためのリスクに敏感なフレームワークを提供する。 本稿では, 条件付き粒子フィルタから抽出した試料下でのマルコフ強化スコアクライミングとして, リスク感応性制御のフレーミングによる新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-12-21T16:34:03Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Regret Analysis of Certainty Equivalence Policies in Continuous-Time Linear-Quadratic Systems [0.0]
  本研究では,線形四元数系の正準モデル制御のためのユビキタス強化学習ポリシーの理論的性能保証について検討する。 我々は、時間的後悔境界の平方根を確立し、ランダム化された確実性等価ポリシーが一つの状態軌跡から高速に最適な制御行動を学ぶことを示す。
  論文  参考訳（メタデータ） (2022-06-09T11:47:36Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems [91.43582419264763]
  未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。 本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。 提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
  論文  参考訳（メタデータ） (2020-07-23T23:06:40Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。