論文の概要: Semi-Infinitely Constrained Markov Decision Processes and Efficient
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2305.00254v1
- Date: Sat, 29 Apr 2023 12:52:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 16:10:27.363674
- Title: Semi-Infinitely Constrained Markov Decision Processes and Efficient
Reinforcement Learning
- Title（参考訳）: 半無限拘束マルコフ決定過程と効率的な強化学習
- Authors: Liangyu Zhang, Yang Peng, Wenhao Yang and Zhihua Zhang
- Abstract要約: 通常のCMDPの場合のように、有限個の制約ではなく制約の連続性を考える。
我々はSI-CRLとSI-CPOと呼ぶSICMDPのための2つの強化学習アルゴリズムを考案した。
我々の知る限り、我々は、制約付き強化学習問題を解決するために、半無限プログラミング(SIP)のツールを最初に適用しました。
- 参考スコア（独自算出の注目度）: 17.04643707688075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel generalization of constrained Markov decision processes
(CMDPs) that we call the \emph{semi-infinitely constrained Markov decision
process} (SICMDP). Particularly, we consider a continuum of constraints instead
of a finite number of constraints as in the case of ordinary CMDPs. We also
devise two reinforcement learning algorithms for SICMDPs that we call SI-CRL
and SI-CPO. SI-CRL is a model-based reinforcement learning algorithm. Given an
estimate of the transition model, we first transform the reinforcement learning
problem into a linear semi-infinitely programming (LSIP) problem and then use
the dual exchange method in the LSIP literature to solve it. SI-CPO is a policy
optimization algorithm. Borrowing the ideas from the cooperative stochastic
approximation approach, we make alternative updates to the policy parameters to
maximize the reward or minimize the cost. To the best of our knowledge, we are
the first to apply tools from semi-infinitely programming (SIP) to solve
constrained reinforcement learning problems. We present theoretical analysis
for SI-CRL and SI-CPO, identifying their iteration complexity and sample
complexity. We also conduct extensive numerical examples to illustrate the
SICMDP model and demonstrate that our proposed algorithms are able to solve
complex sequential decision-making tasks leveraging modern deep reinforcement
learning techniques.
- Abstract（参考訳）: 本稿では,制約付きマルコフ決定過程 (CMDP) の新たな一般化を提案し,これを<emph{semi-infinitely constrained Markov decision process} (SICMDP) と呼ぶ。
特に、通常のCMDPの場合のように、有限個の制約ではなく制約の連続性を考える。
また,SI-CRL と SI-CPO の2つの強化学習アルゴリズムを考案した。
SI-CRLはモデルに基づく強化学習アルゴリズムである。
遷移モデルを推定すると、まず強化学習問題を線形半無限プログラミング(LSIP)問題に変換し、次にLSIP文学における二重交換法を用いて解決する。
SI-CPOはポリシー最適化アルゴリズムである。
協調確率近似アプローチからアイデアを借用し,政策パラメータの代替更新を行い,報酬を最大化し,コストを最小化する。
我々の知る限り、我々は、制約付き強化学習問題を解決するために、半無限プログラミング(SIP)のツールを最初に適用しました。
SI-CRL と SI-CPO の理論的解析を行い,それらの反復複雑性とサンプル複雑性を同定した。
また,sicmdpモデルを説明するために広範な数値実験を行い,最新の深層強化学習手法を用いて,提案手法が複雑な逐次的意思決定課題を解決できることを実証した。
関連論文リスト
- Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis [30.713243690224207]
マルコフ決定過程(MDPs)において、バリュー・アット・リスク(Value-at-Risk)のような量子リスク尺度は、特定の結果に対するRLエージェントの嗜好をモデル化するための標準指標である。
本稿では,強い収束と性能保証を有するMDPにおける量子化最適化のための新しいQ-ラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-31T16:53:20Z) - Two-Stage ML-Guided Decision Rules for Sequential Decision Making under Uncertainty [55.06411438416805]
SDMU (Sequential Decision Making Under Uncertainty) は、エネルギー、金融、サプライチェーンといった多くの領域において、ユビキタスである。
いくつかのSDMUは、自然にマルチステージ問題(MSP)としてモデル化されているが、結果として得られる最適化は、計算の観点からは明らかに困難である。
本稿では,2段階の一般決定規則(TS-GDR)を導入し,線形関数を超えて政策空間を一般化する手法を提案する。
TS-GDRの有効性は、TS-LDR(Two-Stage Deep Decision Rules)と呼ばれるディープリカレントニューラルネットワークを用いたインスタンス化によって実証される。
論文 参考訳（メタデータ） (2024-05-23T18:19:47Z) - Multi-Timescale Ensemble Q-learning for Markov Decision Process Policy
Optimization [21.30645601474163]
元々のQ-ラーニングは、非常に大きなネットワークにわたるパフォーマンスと複雑性の課題に悩まされている。
従来のQ-ラーニングに適応したモデルフリーアンサンブル強化学習アルゴリズムを提案する。
計算結果から,提案アルゴリズムは平均ポリシエラーを最大55%,実行時複雑性を最大50%削減できることがわかった。
論文 参考訳（メタデータ） (2024-02-08T08:08:23Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Non-stationary Reinforcement Learning under General Function
Approximation [60.430936031067006]
まず,非定常MDPに対する動的ベルマンエルダー次元(DBE)と呼ばれる新しい複雑性指標を提案する。
提案する複雑性指標に基づいて,SW-OPEAと呼ばれる新しい信頼度セットに基づくモデルフリーアルゴリズムを提案する。
SW-OPEAは,変動予算がそれほど大きくない限り,有効に有効であることを示す。
論文 参考訳（メタデータ） (2023-06-01T16:19:37Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Near Instance-Optimal PAC Reinforcement Learning for Deterministic MDPs [24.256960622176305]
エピソードマルコフ決定過程におけるPAC RLのサンプル複雑性について, 上界と下界の整合性について検討した。
私たちの境界は、決定論的リターンギャップ(deterministic return gap)と呼ばれる状態-作用ペアに対して、新たな最適ギャップ(sub-optimality gap)を特徴とする。
彼らの設計と分析は、最小フローや最大カットといったグラフ理論の概念を含む新しいアイデアを採用している。
論文 参考訳（メタデータ） (2022-03-17T11:19:41Z) - Learning with Safety Constraints: Sample Complexity of Reinforcement
Learning for Constrained MDPs [13.922754427601491]
我々は,安全性の制約と,所望の精度を確保するために必要なサンプル数との関係を特徴付ける。
我々の主な発見は、制約のない状態の最もよく知られた境界と比較して、制約されたRLアルゴリズムのサンプルは制約の数に対数的な因子によって増加することである。
論文 参考訳（メタデータ） (2020-08-01T18:17:08Z) - Constrained Combinatorial Optimization with Reinforcement Learning [0.30938904602244344]
本稿では,RL(Deep Reinforcement Learning)を用いた制約付き最適化問題に対処する枠組みを提案する。
我々は、その定式化における制約に対処するために、Neural Combinatorial Optimization(NCO)理論を拡張した。
その文脈では、ソリューションは環境との相互作用に基づいて反復的に構築されます。
論文 参考訳（メタデータ） (2020-06-22T03:13:07Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。