Fugu-MT 論文翻訳(概要): Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems

論文の概要: Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems

arxiv url: http://arxiv.org/abs/2107.07788v2
Date: Tue, 20 Jul 2021 03:47:32 GMT
ステータス: 処理完了
システム内更新日: 2021-07-21 11:52:20.104054
Title: Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
Title（参考訳）: 線形確率系の適応的最適定常制御のための強化学習
Authors: Bo Pang and Zhong-Ping Jiang
Abstract要約: 本稿では,加法雑音と乗法雑音を併用した連続時間線形系の最適定常制御について検討する。楽観的な最小二乗法に基づく反復法則という,非政治強化学習アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 15.410124023805249
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies the adaptive optimal stationary control of continuous-time linear stochastic systems with both additive and multiplicative noises, using reinforcement learning techniques. Based on policy iteration, a novel off-policy reinforcement learning algorithm, named optimistic least-squares-based policy iteration, is proposed which is able to iteratively find near-optimal policies of the adaptive optimal stationary control problem directly from input/state data without explicitly identifying any system matrices, starting from an initial admissible control policy. The solutions given by the proposed optimistic least-squares-based policy iteration are proved to converge to a small neighborhood of the optimal solution with probability one, under mild conditions. The application of the proposed algorithm to a triple inverted pendulum example validates its feasibility and effectiveness.
Abstract（参考訳）: 本稿では,連続時間線形確率系の加法的および乗法的雑音による最適定常制御について,強化学習手法を用いて検討する。政策反復に基づいて、楽観的な最小二乗政策反復と呼ばれる新しい非政治強化学習アルゴリズムを提案し、適応的最適定常制御問題の準最適ポリシを、初期許容制御ポリシから始まるシステム行列を明示的に特定することなく、入力/状態データから直接見つけ出すことができる。楽観的な最小二乗法に基づく政策反復によって与えられる解は、穏やかな条件下で最適解の小さな近傍に収束することが証明される。三重反転振子例に対する提案アルゴリズムの適用は,その実現可能性と有効性を検証する。

関連論文リスト

Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文参考訳（メタデータ） (2024-05-26T05:38:50Z)
Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。学習シナリオにおける同値性に基づく単一のフレームワークを提案する。我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文参考訳（メタデータ） (2024-05-09T12:52:22Z)
Fast Policy Learning for Linear Quadratic Control with Entropy Regularization [10.771650397337366]
本稿では,レギュラー化政策勾配 (RPG) と反復政策最適化 (IPO) の2つの新しい政策学習手法を提案し,分析する。正確な政策評価にアクセスできると仮定すると、どちらの手法も正規化されたLQCの最適ポリシーを見つける際に線形に収束することが証明される。
論文参考訳（メタデータ） (2023-11-23T19:08:39Z)
Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文参考訳（メタデータ） (2023-06-18T15:50:57Z)
Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2023-06-09T07:46:24Z)
Introduction to Online Nonstochastic Control [34.77535508151501]
オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
論文参考訳（メタデータ） (2022-11-17T16:12:45Z)
Recurrent Model Predictive Control [19.047059454849897]
一般非線形有限水平最適制御問題を解くために,リカレントモデル予測制御(RMPC)と呼ばれるオフラインアルゴリズムを提案する。提案アルゴリズムは,システム状態と参照値を直接制御入力にマッピングする最適ポリシを近似するために,繰り返し関数を用いる。
論文参考訳（メタデータ） (2021-02-23T15:01:36Z)
Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文参考訳（メタデータ） (2021-02-16T14:53:55Z)
Approximate Midpoint Policy Iteration for Linear Quadratic Control [1.0312968200748118]
モデルベースおよびモデルフリー設定の線形2次最適制御問題を解くために,中間点ポリシー反復アルゴリズムを提案する。モデルに基づく設定では,2次収束と線形収束を両立させる標準方針反復法やポリシーアルゴリズムよりも優れている立方収束を実現する。
論文参考訳（メタデータ） (2020-11-28T20:22:10Z)
Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文参考訳（メタデータ） (2020-09-14T16:22:46Z)
Model-free optimal control of discrete-time systems with additive and multiplicative noises [1.656520517245166]
本稿では,加法的および乗法的雑音を受ける離散時間系のクラスに対する最適制御問題について検討する。システム状態と入力のデータを用いて最適許容制御ポリシーを学習するために,モデルフリー強化学習アルゴリズムを提案する。学習アルゴリズムは最適許容制御ポリシーに収束することが証明された。
論文参考訳（メタデータ） (2020-08-20T02:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。