Fugu-MT 論文翻訳(概要): On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes

論文の概要: On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes

arxiv url: http://arxiv.org/abs/2408.16262v1
Date: Thu, 29 Aug 2024 04:57:44 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 14:55:17.239584
Title: On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes
Title（参考訳）: マルコフ決定過程における平均逆Q-ラーニングの収束性について
Authors: Yi Wan, Huizhen Yu, Richard S. Sutton,
Abstract要約: 本稿では,マルコフ決定過程(MDP)の強化学習(RL)アルゴリズムを,平均回帰基準の下で解析する。本稿では,MDPを弱通信する反復RVI法のモデル自由集合であるRVI(Rexent Value)に基づくQ-learningアルゴリズムに着目した。
参考スコア（独自算出の注目度）: 11.868402302316131
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper analyzes reinforcement learning (RL) algorithms for Markov decision processes (MDPs) under the average-reward criterion. We focus on Q-learning algorithms based on relative value iteration (RVI), which are model-free stochastic analogues of the classical RVI method for average-reward MDPs. These algorithms have low per-iteration complexity, making them well-suited for large state space problems. We extend the almost-sure convergence analysis of RVI Q-learning algorithms developed by Abounadi, Bertsekas, and Borkar (2001) from unichain to weakly communicating MDPs. This extension is important both practically and theoretically: weakly communicating MDPs cover a much broader range of applications compared to unichain MDPs, and their optimality equations have a richer solution structure (with multiple degrees of freedom), introducing additional complexity in proving algorithmic convergence. We also characterize the sets to which RVI Q-learning algorithms converge, showing that they are compact, connected, potentially nonconvex, and comprised of solutions to the average-reward optimality equation, with exactly one less degree of freedom than the general solution set of this equation. Furthermore, we extend our analysis to two RVI-based hierarchical average-reward RL algorithms using the options framework, proving their almost-sure convergence and characterizing their sets of convergence under the assumption that the underlying semi-Markov decision process is weakly communicating.
Abstract（参考訳）: 本稿では,マルコフ決定過程(MDP)の強化学習(RL)アルゴリズムを,平均回帰基準の下で解析する。我々は,従来のRVI手法のモデルなし確率的類似体であるRVI(Rexent value iteration)に基づくQ-learningアルゴリズムに着目した。これらのアルゴリズムはイテレーション当たりの複雑さが低く、大きな状態空間問題に適している。 Abounadi, Bertsekas, Borkar (2001) によって開発された RVI のQ-ラーニングアルゴリズムの概日収束解析をユニチェーンから弱通信 MDP へ拡張する。この拡張は実用的にも理論的にも重要である: 弱い通信 MDP はユニチェーンの MDP と比較してはるかに広い範囲の応用をカバーし、その最適性方程式はよりリッチな解構造を持ち(自由度が複数ある)、アルゴリズム収束の証明にさらなる複雑さをもたらす。また、RVI Q-learningアルゴリズムが収束する集合を特徴付け、それらがコンパクトで連結であり、潜在的に非凸であり、平均回帰最適性方程式に対する解からなることを示す。さらに、我々は、オプションフレームワークを用いて2つのRVIに基づく階層的平均回帰RLアルゴリズムに解析を拡張し、そのほぼ完全な収束を証明し、基礎となるセミマルコフ決定過程が弱い通信であるという仮定の下で、それらの収束の集合を特徴づける。

関連論文リスト

Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis [30.713243690224207]
マルコフ決定過程(MDPs)において、バリュー・アット・リスク(Value-at-Risk)のような量子リスク尺度は、特定の結果に対するRLエージェントの嗜好をモデル化するための標準指標である。本稿では,強い収束と性能保証を有するMDPにおける量子化最適化のための新しいQ-ラーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-31T16:53:20Z)
Asynchronous Stochastic Approximation and Average-Reward Reinforcement Learning [11.868402302316131]
我々は、より一般的な雑音条件を満たすために、ボルカールとメインの安定性証明法を拡張した。我々は、Schweitzerの古典的相対値アルゴリズムRVI Q-learningの非同期SAアナログの収束を確立する。 RVIQ学習における最適報酬率を推定するための新しい単調性条件を導入する。
論文参考訳（メタデータ） (2024-09-05T21:23:51Z)
Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文参考訳（メタデータ） (2024-04-30T06:48:56Z)
Multi-Timescale Ensemble Q-learning for Markov Decision Process Policy Optimization [21.30645601474163]
元々のQ-ラーニングは、非常に大きなネットワークにわたるパフォーマンスと複雑性の課題に悩まされている。従来のQ-ラーニングに適応したモデルフリーアンサンブル強化学習アルゴリズムを提案する。計算結果から,提案アルゴリズムは平均ポリシエラーを最大55%,実行時複雑性を最大50%削減できることがわかった。
論文参考訳（メタデータ） (2024-02-08T08:08:23Z)
Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文参考訳（メタデータ） (2023-07-01T18:35:21Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
Model-Free Robust Average-Reward Reinforcement Learning [25.125481838479256]
我々は,モデルフリーの反復設定の下で,ロバストな平均回帰MDPに着目した。我々は2つのモデルフリーアルゴリズム、ロバスト相対値(RVI)TDとロバスト相対値(RVI)Q-ラーニングを設計し、理論的に最適解への収束性を証明した。
論文参考訳（メタデータ） (2023-05-17T18:19:23Z)
On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm [11.748284119769039]
ロバスト強化学習(RRL)は、マルコフ決定プロセス(MDP)の不確実性に対して最悪のケースパフォーマンスを最適化するための堅牢なポリシーを求めることを目的としている。
論文参考訳（メタデータ） (2023-05-11T08:52:09Z)
ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文参考訳（メタデータ） (2021-10-13T19:36:50Z)
Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文参考訳（メタデータ） (2020-12-04T15:36:29Z)
Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。最先端アルゴリズムの利点を論じ、解説する。
論文参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。