論文の概要: Actively Learning Reinforcement Learning: A Stochastic Optimal Control
Approach
- arxiv url: http://arxiv.org/abs/2309.10831v1
- Date: Mon, 18 Sep 2023 18:05:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 18:13:42.903702
- Title: Actively Learning Reinforcement Learning: A Stochastic Optimal Control
Approach
- Title(参考訳): 強化学習の能動的学習:確率的最適制御アプローチ
- Authors: Mohammad S. Ramadan, Mahmoud A. Hayajnh, Michael T. Tolley, Kyriakos
G. Vamvoudakis
- Abstract要約: 我々は,制御された実験室/シミュレーションと実世界の条件のミスマッチと,最適制御の計算コストの禁止という2つの問題に対処する枠組みを提供する。
我々は、動的プログラミング方程式を解くために強化学習を用いて、両方の問題にアプローチする。
得られた強化学習コントローラは,いくつかの制約に対して安全であり,モデリングの不確実性について積極的に学習することができる。
- 参考スコア(独自算出の注目度): 3.7728340443952577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we provide framework to cope with two problems: (i) the
fragility of reinforcement learning due to modeling uncertainties because of
the mismatch between controlled laboratory/simulation and real-world conditions
and (ii) the prohibitive computational cost of stochastic optimal control. We
approach both problems by using reinforcement learning to solve the stochastic
dynamic programming equation. The resulting reinforcement learning controller
is safe with respect to several types of constraints constraints and it can
actively learn about the modeling uncertainties. Unlike exploration and
exploitation, probing and safety are employed automatically by the controller
itself, resulting real-time learning. A simulation example demonstrates the
efficacy of the proposed approach.
- Abstract(参考訳): 本稿では,2つの問題に対処する枠組みについて述べる。
(i)制御実験・シミュレーションと実環境条件のミスマッチによる不確かさのモデル化による強化学習の脆弱さ
(II)確率的最適制御の禁止的な計算コスト。
我々は、強化学習を用いて両方の問題にアプローチし、確率的動的プログラミング方程式を解く。
得られた強化学習コントローラは,いくつかの制約条件に対して安全であり,モデリングの不確実性について積極的に学習することができる。
探索と搾取とは異なり、探索と安全はコントローラ自身によって自動的に採用され、結果としてリアルタイムで学習される。
シミュレーション例では,提案手法の有効性を示す。
関連論文リスト
- Risk-Sensitive Stochastic Optimal Control as Rao-Blackwellized Markovian
Score Climbing [3.9410617513331863]
動的システムの最適制御は、シーケンシャルな意思決定において重要な課題である。
コントロール・アズ・推論のアプローチは大きな成功をおさめ、探索・探索ジレンマに対処するためのリスクに敏感なフレームワークを提供する。
本稿では, 条件付き粒子フィルタから抽出した試料下でのマルコフ強化スコアクライミングとして, リスク感応性制御のフレーミングによる新しい視点を提案する。
論文 参考訳(メタデータ) (2023-12-21T16:34:03Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳(メタデータ) (2023-07-27T04:27:26Z) - Active Uncertainty Reduction for Safe and Efficient Interaction
Planning: A Shielding-Aware Dual Control Approach [9.07774184840379]
本稿では,暗黙的二重制御パラダイムに基づく対話型動作計画における能動的不確実性低減を実現するアルゴリズムを提案する。
提案手法は, 動的プログラミングのサンプリングに基づく近似に依拠し, リアルタイム勾配最適化法で容易に解けるモデル予測制御問題に導かれる。
論文 参考訳(メタデータ) (2023-02-01T01:34:48Z) - Incorporating Recurrent Reinforcement Learning into Model Predictive
Control for Adaptive Control in Autonomous Driving [11.67417895998434]
モデル予測制御(MPC)は、強力な制御技術として自律運転タスクに大きな注目を集めている。
本稿では,この問題を部分的に観測されたマルコフ決定過程(POMDP)として再検討する。
次に、最適かつ適応的な制御のために、リカレント強化学習(RRL)を通して、動的モデルのパラメータを継続的に適応させるリカレントポリシーを学習する。
論文 参考訳(メタデータ) (2023-01-30T22:11:07Z) - Adaptive Robust Model Predictive Control via Uncertainty Cancellation [25.736296938185074]
本稿では,動的に重要な不確かさを補う学習に基づく頑健な予測制御アルゴリズムを提案する。
我々は、一定の等価な「推定とキャンセル」制御法に着想を得た、非線形フィードバックポリシーのクラスを最適化する。
論文 参考訳(メタデータ) (2022-12-02T18:54:23Z) - Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model
Predictive Control [49.60520501097199]
本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。
我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
論文 参考訳(メタデータ) (2022-10-23T00:45:05Z) - Adaptive Model Predictive Control by Learning Classifiers [26.052368583196426]
制御パラメータとモデルパラメータを自動的に推定する適応型MPC変種を提案する。
我々は,BOを密度比推定として定式化できることを示す最近の結果を活用する。
その後、これはモデル予測経路積分制御フレームワークに統合され、様々な困難なロボティクスタスクのための堅牢なコントローラを生成する。
論文 参考訳(メタデータ) (2022-03-13T23:22:12Z) - Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。
本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。
より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
論文 参考訳(メタデータ) (2021-05-25T19:48:35Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳(メタデータ) (2020-07-11T19:44:09Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳(メタデータ) (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。