Fugu-MT 論文翻訳(概要): Near-optimal Conservative Exploration in Reinforcement Learning under Episode-wise Constraints

論文の概要: Near-optimal Conservative Exploration in Reinforcement Learning under Episode-wise Constraints

arxiv url: http://arxiv.org/abs/2306.06265v1
Date: Fri, 9 Jun 2023 21:26:57 GMT
ステータス: 処理完了
システム内更新日: 2023-06-13 20:02:02.776519
Title: Near-optimal Conservative Exploration in Reinforcement Learning under Episode-wise Constraints
Title（参考訳）: エピソード的制約下における強化学習における準最適保守探索
Authors: Donghao Li, Ruiquan Huang, Cong Shen, Jing Yang
Abstract要約: 本研究は,学習プロセスを通じて,学習エージェントの性能が一定の閾値を超えることが保証される強化学習における保守的な探索について検討する。 StepMixと呼ばれるアルゴリズムは、攻撃と探索のバランスを保ちながら、各エピソードにおける保守的な制約が高い確率で破られないようにするために提案されている。理論的解析により、StepMixは制約のない設定のように、ほぼ最適の後悔順序を達成し、厳密なエピソードの保守的な制約に従うことが学習性能を損なうことはないことを示した。
参考スコア（独自算出の注目度）: 18.432798453969507
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates conservative exploration in reinforcement learning where the performance of the learning agent is guaranteed to be above a certain threshold throughout the learning process. It focuses on the tabular episodic Markov Decision Process (MDP) setting that has finite states and actions. With the knowledge of an existing safe baseline policy, an algorithm termed as StepMix is proposed to balance the exploitation and exploration while ensuring that the conservative constraint is never violated in each episode with high probability. StepMix features a unique design of a mixture policy that adaptively and smoothly interpolates between the baseline policy and the optimistic policy. Theoretical analysis shows that StepMix achieves near-optimal regret order as in the constraint-free setting, indicating that obeying the stringent episode-wise conservative constraint does not compromise the learning performance. Besides, a randomization-based EpsMix algorithm is also proposed and shown to achieve the same performance as StepMix. The algorithm design and theoretical analysis are further extended to the setting where the baseline policy is not given a priori but must be learned from an offline dataset, and it is proved that similar conservative guarantee and regret can be achieved if the offline dataset is sufficiently large. Experiment results corroborate the theoretical analysis and demonstrate the effectiveness of the proposed conservative exploration strategies.
Abstract（参考訳）: 本稿では,学習エージェントの性能が一定の閾値を超えることを保証した強化学習における保守的探索について検討する。有限状態と作用を持つ表層的なマルコフ決定過程(MDP)に焦点を当てている。既存の安全基準ポリシーの知識により、SteepMixと呼ばれるアルゴリズムが提案され、エクスプロイトと探索のバランスを保ちながら、保守的な制約が各エピソードにおいて高い確率で違反しないことを保証する。 StepMixは、ベースラインポリシーと楽観的なポリシーを適応的にスムーズに補間する混合ポリシーのユニークな設計を特徴としている。理論的解析により、StepMixは制約のない設定のように、ほぼ最適の後悔順序を達成し、厳密なエピソードの保守的な制約に従うことが学習性能を損なうことはないことを示した。さらに、確率化に基づくEpsMixアルゴリズムも提案され、StepMixと同じ性能を実現する。アルゴリズム設計と理論的解析は、ベースラインポリシーが予め与えられていないがオフラインデータセットから学ばなければならない設定にさらに拡張され、オフラインデータセットが十分に大きい場合には、同様の保守的保証と後悔が達成できることが証明される。実験の結果,理論解析と保存的探索戦略の有効性が実証された。

関連論文リスト

Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文参考訳（メタデータ） (2024-05-03T16:45:15Z)
Risk-sensitive Markov Decision Process and Learning under General Utility Functions [3.6260136172126667]
強化学習(Reinforcement Learning, RL)は、様々な応用分野や理論的研究において大きな注目を集めている。累積報酬の空間上でのエプシロン被覆を用いた修正値アルゴリズムを提案する。シミュレータが存在しない場合,提案アルゴリズムは高信頼度探索法を用いて設計され,ほぼ最適ポリシーを同定する。
論文参考訳（メタデータ） (2023-11-22T18:50:06Z)
Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
論文参考訳（メタデータ） (2023-10-10T02:45:50Z)
Wasserstein Actor-Critic: Directed Exploration via Optimism for Continuous-Actions Control [41.7453231409493]
Wasserstein Actor-Critic (WAC) は、Wasserstein Q-Learning (WQL) citepwqlにインスパイアされたアクター批判アーキテクチャである。 WACは、Q値の推定値の上限を最適化してポリシー学習プロセスを導くことによって、原則的な方法で探索を実施する。
論文参考訳（メタデータ） (2023-03-04T10:52:20Z)
Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
論文参考訳（メタデータ） (2022-12-19T22:43:08Z)
Optimal Conservative Offline RL with General Function Approximation via Augmented Lagrangian [18.2080757218886]
オフライン強化学習(英語: offline reinforcement learning、RL)とは、かつて収集された相互作用のデータセットから決定を下すことを指す。一般関数近似と単一政治集中性において統計的に最適で実用的なオフラインRLアルゴリズムの最初のセットを示す。
論文参考訳（メタデータ） (2022-11-01T19:28:48Z)
Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文参考訳（メタデータ） (2021-02-16T14:53:55Z)
Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-11-08T23:16:19Z)
Kalman meets Bellman: Improving Policy Evaluation through Value Tracking [59.691919635037216]
政策評価は強化学習(RL)における重要なプロセスである我々はKalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。 KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
論文参考訳（メタデータ） (2020-02-17T13:30:43Z)
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。我々は、ある政策の境界を推定するアプローチを開発する。より凝縮したデータを集めることで、シャープな境界への収束を証明します。
論文参考訳（メタデータ） (2020-02-11T16:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。