Fugu-MT 論文翻訳(概要): Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach

論文の概要: Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach

arxiv url: http://arxiv.org/abs/2402.00313v1
Date: Thu, 1 Feb 2024 03:53:56 GMT
ステータス: 処理完了
システム内更新日: 2024-02-02 16:36:38.031055
Title: Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach
Title（参考訳）: 遅延を伴う確率環境における制御:モデルに基づく強化学習アプローチ
Authors: Zhiyuan Yao, Ionut Florescu, Chihoon Lee
Abstract要約: 遅延フィードバックを伴う環境における制御問題に対する新しい強化学習手法を提案する。具体的には,決定論的計画を用いた従来の手法に対して,計画を採用する。この定式化は、決定論的遷移の問題に対する最適ポリシーを回復できることを示す。
参考スコア（独自算出の注目度）: 3.130722489512822
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper we are introducing a new reinforcement learning method for control problems in environments with delayed feedback. Specifically, our method employs stochastic planning, versus previous methods that used deterministic planning. This allows us to embed risk preference in the policy optimization problem. We show that this formulation can recover the optimal policy for problems with deterministic transitions. We contrast our policy with two prior methods from literature. We apply the methodology to simple tasks to understand its features. Then, we compare the performance of the methods in controlling multiple Atari games.
Abstract（参考訳）: 本稿では,遅延フィードバックを伴う環境における制御問題に対する新しい強化学習手法を提案する。具体的には, 決定論的計画を用いた従来の手法と比較して, 確率的計画を用いる。これにより、政策最適化問題にリスク選択を組み込むことができます。この定式化は決定論的遷移問題に対する最適ポリシーを回復できることを示す。我々はこの政策を文学の2つの方法と対比する。簡単なタスクに方法論を適用し,その特徴を理解する。次に,複数のアタリゲームを制御する手法の性能を比較した。

関連論文リスト

Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文参考訳（メタデータ） (2024-05-03T16:45:15Z)
Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach [0.3093890460224435]
我々は、新しい強化学習手法を用いて、人気のあるWordleパズルの解法に対処する。 Wordleパズルでは、比較的控えめな計算コストで最適に近いオンラインソリューション戦略が得られる。
論文参考訳（メタデータ） (2022-11-15T03:46:41Z)
Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文参考訳（メタデータ） (2022-09-15T07:22:58Z)
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage [0.0]
モデル予測制御(MPC)に基づく政策近似に焦点を当てます。政策勾配法は,政策が(ほぼ)バンバン構造を持つ場合,政策パラメータに意味のあるステップを生じさせることに苦慮する。本稿では,内点法に基づくホモトピー戦略を提案し,学習中に方針を緩和する。
論文参考訳（メタデータ） (2021-04-06T10:37:14Z)
Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization [5.072893872296332]
アクション制約強化学習(RL)は、さまざまな現実世界のアプリケーションで広く使用されているアプローチです。本稿では,政策パラメータ更新から行動制約を分離する学習アルゴリズムを提案する。提案アルゴリズムは,様々な制御タスクにおけるベンチマーク手法を有意に上回っていることを示した。
論文参考訳（メタデータ） (2021-02-22T14:28:03Z)
Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
論文参考訳（メタデータ） (2020-12-30T03:22:35Z)
Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文参考訳（メタデータ） (2020-10-21T17:14:31Z)
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文参考訳（メタデータ） (2020-06-26T20:21:12Z)
SOAC: The Soft Option Actor-Critic Architecture [25.198302636265286]
低レベルのオプション内ポリシーと高レベルのオプション選択ポリシーを同時に学習する手法が提案されている。既存の手法は通常、非効率な探索と不安定な更新という2つの大きな課題に悩まされる。これらの課題に対処するために、最大エントロピーモデルに基づく、新しく安定した非政治的アプローチを提案する。
論文参考訳（メタデータ） (2020-06-25T13:06:59Z)
Novel Policy Seeking with Constrained Optimization [131.67409598529287]
本稿では,強化学習課題における新しい政策作成の問題を再考する。まず、政策間の差異を評価するための新しい指標を導入し、2つの実用的な政策生成手法を設計する。 The Constrained Task Novel Bisector (CTNB) and the internal Policy Differentiation (IPD) is derived from the fiable direction method and the interior point method known in the constrained optimization literature。
論文参考訳（メタデータ） (2020-05-21T14:39:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。