論文の概要: Beyond dynamic programming
- arxiv url: http://arxiv.org/abs/2306.15029v1
- Date: Mon, 26 Jun 2023 19:38:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 15:39:50.559605
- Title: Beyond dynamic programming
- Title(参考訳): 動的プログラミングを超えて
- Authors: Abhinav Muraleedharan
- Abstract要約: 本稿では,強化学習問題の解法として,Score-lifeプログラミングを提案する。
提案手法は,非定常ポリシー関数を探索し,与えられた状態から最適無限地平線行動列を直接計算することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present Score-life programming, a novel theoretical
approach for solving reinforcement learning problems. In contrast with
classical dynamic programming-based methods, our method can search over
non-stationary policy functions, and can directly compute optimal infinite
horizon action sequences from a given state. The central idea in our method is
the construction of a mapping between infinite horizon action sequences and
real numbers in a bounded interval. This construction enables us to formulate
an optimization problem for directly computing optimal infinite horizon action
sequences, without requiring a policy function. We demonstrate the
effectiveness of our approach by applying it to nonlinear optimal control
problems. Overall, our contributions provide a novel theoretical framework for
formulating and solving reinforcement learning problems.
- Abstract(参考訳): 本稿では,強化学習問題を解決するための新しい理論手法であるスコアライフプログラミングを提案する。
古典的動的計画法とは対照的に,本手法は非定常ポリシー関数を探索し,与えられた状態から最適無限水平作用列を直接計算することができる。
本手法の中心的な考え方は,無限ホライズン作用列と有界区間の実数の間の写像の構成である。
この構成により、ポリシー関数を必要とせず、最適無限水平行動列を直接計算する最適化問題を定式化することができる。
非線形最適制御問題に適用することで,本手法の有効性を示す。
全体として、我々の貢献は強化学習問題の定式化と解決のための新しい理論的枠組みを提供する。
関連論文リスト
- Introduction to Online Nonstochastic Control [65.18774760752588]
オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。
目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
論文 参考訳(メタデータ) (2022-11-17T16:12:45Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳(メタデータ) (2022-09-15T07:22:58Z) - Bellman Residual Orthogonalization for Offline Reinforcement Learning [53.17258888552998]
我々はベルマン方程式を近似した新しい強化学習原理を導入し、その妥当性をテスト関数空間にのみ適用する。
我々は、この原則を利用して、政策外の評価のための信頼区間を導出するとともに、所定の政策クラス内の政策を最適化する。
論文 参考訳(メタデータ) (2022-03-24T01:04:17Z) - Certificates of quantum many-body properties assisted by machine
learning [0.0]
本稿では,緩和技術の力と深層強化学習を組み合わせた新しい手法を提案する。
本研究は,多くの移動系の基底状態エネルギーを求める文脈において,本手法の生存可能性について述べる。
我々は、量子情報処理の分野における他の一般的な応用へのアプローチを一般化するためのツールを提供する。
論文 参考訳(メタデータ) (2021-03-05T17:47:26Z) - State Augmented Constrained Reinforcement Learning: Overcoming the
Limitations of Learning with Rewards [88.30521204048551]
制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。
ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。
この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
論文 参考訳(メタデータ) (2021-02-23T21:07:35Z) - Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement
Learning via Frank-Wolfe Policy Optimization [5.072893872296332]
アクション制約強化学習(RL)は、さまざまな現実世界のアプリケーションで広く使用されているアプローチです。
本稿では,政策パラメータ更新から行動制約を分離する学習アルゴリズムを提案する。
提案アルゴリズムは,様々な制御タスクにおけるベンチマーク手法を有意に上回っていることを示した。
論文 参考訳(メタデータ) (2021-02-22T14:28:03Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳(メタデータ) (2020-10-21T17:14:31Z) - Differentiable Causal Discovery from Interventional Data [141.41931444927184]
本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。
提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
論文 参考訳(メタデータ) (2020-07-03T15:19:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。