論文の概要: Deep reinforcement learning for weakly coupled MDP's with continuous actions

• arxiv url: http://arxiv.org/abs/2406.01099v1
• Date: Mon, 3 Jun 2024 08:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:48:31.659916
• Title: Deep reinforcement learning for weakly coupled MDP's with continuous actions
• Title（参考訳）: 連続動作を伴う弱結合型MDPの深部強化学習
• Authors: Francisco Robledo, Urtzi Ayesta, Konstantin Avrachenkov,
• Abstract要約: 本稿では,連続行動空間と弱結合なMDP問題を対象とした強化学習アルゴリズムであるLagrange Policy for Continuous Actions (LPCA)を紹介する。 LPCAは、Q値計算のためのニューラルネットワークフレームワークにおいて、弱い結合のMDP問題のラグランジュ緩和を導入することで、継続的な行動に依存するリソース制約の課題に対処する。 グローバル最適化に差分進化を利用するLPCA-DEと,Q値勾配に基づく行動の漸進的かつ段階的に選択するLPCA-Greedyの2つのバリエーションを示す。
• 参考スコア（独自算出の注目度）: 0.3004066195320147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the Lagrange Policy for Continuous Actions (LPCA), a reinforcement learning algorithm specifically designed for weakly coupled MDP problems with continuous action spaces. LPCA addresses the challenge of resource constraints dependent on continuous actions by introducing a Lagrange relaxation of the weakly coupled MDP problem within a neural network framework for Q-value computation. This approach effectively decouples the MDP, enabling efficient policy learning in resource-constrained environments. We present two variations of LPCA: LPCA-DE, which utilizes differential evolution for global optimization, and LPCA-Greedy, a method that incrementally and greadily selects actions based on Q-value gradients. Comparative analysis against other state-of-the-art techniques across various settings highlight LPCA's robustness and efficiency in managing resource allocation while maximizing rewards.
• Abstract（参考訳）: 本稿では,連続行動空間と弱結合なMDP問題を対象とした強化学習アルゴリズムであるLagrange Policy for Continuous Actions (LPCA)を紹介する。 LPCAは、Q値計算のためのニューラルネットワークフレームワークにおいて、弱い結合のMDP問題のラグランジュ緩和を導入することで、継続的な行動に依存するリソース制約の課題に対処する。 このアプローチはMDPを効果的に分離し、資源制約環境における効率的な政策学習を可能にする。 グローバル最適化に差分進化を利用するLPCA-DEと,Q値勾配に基づく行動の漸進的かつ段階的に選択するLPCA-Greedyの2つのバリエーションを示す。 他の最先端技術との比較分析では、LPCAの資源配分管理における堅牢性と効率性を強調し、報酬を最大化している。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling [4.499391876093543]
  ニューラルワークによってパラメータ化された多くの損失項の多目的最適化のための重み乗算器のオンライン選択に対処する。 本手法は乗算器レスであり,エポックの時間スケールで動作する。 また、既存の多目的ディープラーニング手法の過剰なメモリ要件と重い計算負担を回避する。
  論文  参考訳（メタデータ） (2024-03-20T16:38:26Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Linear programming-based solution methods for constrained POMDPs [0.5156484100374059]
  制約付き部分観測可能なマルコフ決定過程(CPOMDP)は、様々な実世界の現象をモデル化するために用いられている。 我々は、CPOMDPの近似ポリシーを生成するために、グリッドベースの近似と線形プログラミング(LP)モデルを組み合わせる。
  論文  参考訳（メタデータ） (2022-06-28T15:22:24Z)
• Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
  複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。 本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-10T21:09:44Z)
• Processing Network Controls via Deep Reinforcement Learning [0.0]
  論文は、理論上の正当化と、高度なポリシー勾配アルゴリズムの実用化に関するものである。 政策改善バウンダリは、APGアルゴリズムの理論的正当性において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-05-01T04:34:21Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。