論文の概要: Control randomisation approach for policy gradient and application to reinforcement learning in optimal switching

• arxiv url: http://arxiv.org/abs/2404.17939v1
• Date: Sat, 27 Apr 2024 15:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:32:14.057916
• Title: Control randomisation approach for policy gradient and application to reinforcement learning in optimal switching
• Title（参考訳）: 政策勾配の制御ランダム化手法と最適切替における強化学習への応用
• Authors: Robert Denkert, Huyên Pham, Xavier Warin,
• Abstract要約: 本稿では,連続時間強化学習に適した政策勾配法に関する総合的な枠組みを提案する。 これは制御問題とランダム化問題の間の接続に基づいており、マルコフ的連続時間制御問題の様々なクラスにまたがる応用を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a comprehensive framework for policy gradient methods tailored to continuous time reinforcement learning. This is based on the connection between stochastic control problems and randomised problems, enabling applications across various classes of Markovian continuous time control problems, beyond diffusion models, including e.g. regular, impulse and optimal stopping/switching problems. By utilizing change of measure in the control randomisation technique, we derive a new policy gradient representation for these randomised problems, featuring parametrised intensity policies. We further develop actor-critic algorithms specifically designed to address general Markovian stochastic control issues. Our framework is demonstrated through its application to optimal switching problems, with two numerical case studies in the energy sector focusing on real options.
• Abstract（参考訳）: 本稿では,連続時間強化学習に適した政策勾配法に関する総合的な枠組みを提案する。 これは確率的制御問題とランダム化問題との接続に基づいており、例えば正規性、インパルス、最適停止/スイッチング問題を含む拡散モデルを超えて、マルコフ的連続時間制御問題の様々なクラスにまたがるアプリケーションを可能にする。 制御ランダム化手法における測度の変化を利用して、これらのランダム化問題に対する新しいポリシー勾配表現を導出し、パラメトリド強度ポリシーを特徴とする。 さらに,一般的なマルコフ確率制御問題に対処するために,アクタ批判アルゴリズムを開発した。 この枠組みは, 実オプションに着目したエネルギーセクターにおける2つの数値ケーススタディを用いて, 最適スイッチング問題への適用を通じて実証された。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach [3.130722489512822]
  遅延フィードバックを伴う環境における制御問題に対する新しい強化学習手法を提案する。 具体的には,決定論的計画を用いた従来の手法に対して,計画を採用する。 この定式化は、決定論的遷移の問題に対する最適ポリシーを回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-01T03:53:56Z)
• Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods [0.40964539027092917]
  Markov Decision Processs (MDP) は、シーケンシャルな意思決定問題のモデリングと解決のための正式なフレームワークである。 実際、全てのパラメータは、動的プログラミングによって提案される固有の構造を無視して、同時に訓練される。 本稿では、動的プログラミングと動的ポリシー勾配というポリシー勾配の組み合わせを紹介し、パラメータを時間内に後方にトレーニングする。
  論文  参考訳（メタデータ） (2023-10-04T09:21:01Z)
• Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies [26.04704565406123]
  グラディエントベースの手法は、様々なアプリケーション領域におけるシステム設計と最適化に広く使われてきた。 近年、制御と強化学習の文脈において、これらの手法の理論的性質の研究に新たな関心が寄せられている。 本稿では、フィードバック制御合成のための勾配に基づく反復的アプローチであるポリシー最適化に関する最近の開発について概説する。
  論文  参考訳（メタデータ） (2022-10-10T16:13:34Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization [5.072893872296332]
  アクション制約強化学習(RL)は、さまざまな現実世界のアプリケーションで広く使用されているアプローチです。 本稿では,政策パラメータ更新から行動制約を分離する学習アルゴリズムを提案する。 提案アルゴリズムは,様々な制御タスクにおけるベンチマーク手法を有意に上回っていることを示した。
  論文  参考訳（メタデータ） (2021-02-22T14:28:03Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Non-stationary Online Learning with Memory and Non-stochastic Control [71.14503310914799]
  我々は,過去の決定に依拠する損失関数を許容するメモリを用いたオンライン凸最適化(OCO)の問題について検討する。 本稿では,非定常環境に対してロバストなアルゴリズムを設計するための性能指標として,動的ポリシーの後悔を紹介する。 我々は,時間的地平線,非定常度,メモリ長といった面で,最適な動的ポリシーの後悔を確実に享受するメモリ付きOCOの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T09:45:15Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。