論文の概要: Value Mirror Descent for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2604.06039v1
- Date: Tue, 07 Apr 2026 16:34:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.928259
- Title: Value Mirror Descent for Reinforcement Learning
- Title（参考訳）: 強化学習のためのバリューミラーダイス
- Authors: Zhichao Jia, Guanghui Lan,
- Abstract要約: 強化学習(RL)におけるほぼ最適な値関数を計算するための値反復型手法が広く研究されている。
本稿では,状態空間S,行動空間A,割引係数$in(0,1)$,コスト$[0,1]$の割引決定プロセスを検討する。
本稿では、凸マルコフの古典的値フレームワークからのミラー降下を統合した新しい値最適化手法、VMDを提案する。
- 参考スコア（独自算出の注目度）: 1.2788899058467404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Value iteration-type methods have been extensively studied for computing a nearly optimal value function in reinforcement learning (RL). Under a generative sampling model, these methods can achieve sharper sample complexity than policy optimization approaches, particularly in their dependence on the discount factor. In practice, they are often employed for offline training or in simulated environments. In this paper, we consider discounted Markov decision processes with state space S, action space A, discount factor $γ\in(0,1)$ and costs in $[0,1]$. We introduce a novel value optimization method, termed value mirror descent (VMD), which integrates mirror descent from convex optimization into the classical value iteration framework. In the deterministic setting with known transition kernels, we show that VMD converges linearly. For the stochastic setting with a generative model, we develop a stochastic variant, SVMD, which incorporates variance reduction commonly used in stochastic value iteration-type methods. For RL problems with general convex regularizers, SVMD attains a near-optimal sample complexity of $\tilde{O}(|S||A|(1-γ)^{-3}ε^{-2})$. Moreover, we establish that the Bregman divergence between the generated and optimal policies remains bounded throughout the iterations. This property is absent in existing stochastic value iteration-type methods but is important for enabling effective online (continual) learning following offline training. Under a strongly convex regularizer, SVMD achieves sample complexity of $\tilde{O}(|S||A|(1-γ)^{-5}ε^{-1})$, improving performance in the high-accuracy regime. Furthermore, we prove convergence of the generated policy to the optimal policy. Overall, the proposed method, its analysis, and the resulting guarantees, constitute new contributions to the RL and optimization literature.
- Abstract（参考訳）: 強化学習(RL)において、ほぼ最適な値関数を計算するために、価値反復型手法が広く研究されている。
生成的サンプリングモデルの下では、これらの手法は、特に割引係数に依存する政策最適化アプローチよりも、よりシャープなサンプル複雑性を実現することができる。
実際には、オフライントレーニングやシミュレートされた環境で使用されることが多い。
本稿では、状態空間 S, アクション空間 A, 割引係数 $γ\in(0,1)$ とコスト $[0,1]$ のマルコフ決定過程について考察する。
コンベックス最適化からのミラー降下を古典的な値反復フレームワークに統合する新しい値最適化手法であるVMDを導入する。
既知の遷移カーネルによる決定論的設定では、VMDは線形収束することを示す。
生成モデルを用いた確率的設定に対しては,確率値反復型法でよく用いられる分散還元を組み込んだ確率的変種であるSVMDを開発する。
一般凸正規化器によるRL問題に対して、SVMD は $\tilde{O}(|S||A|(1-γ)^{-3}ε^{-2})$ の準最適サンプル複雑性を得る。
さらに、生成されたポリシーと最適ポリシーの間のブレグマンの分岐が繰り返しを通して境界づけられていることを確かめる。
この特性は、既存の確率的反復型手法には欠落しているが、オフライントレーニング後の効果的なオンライン学習(連続学習)の実現には重要である。
強い凸正則化の下で、SVMD は $\tilde{O}(|S||A|(1-γ)^{-5}ε^{-1})$ のサンプル複雑性を達成し、高精度な状態における性能を向上させる。
さらに、生成したポリシーを最適ポリシーに収束させることを実証する。
全体として、提案手法とその解析、およびその結果の保証は、RLと最適化文献への新たな貢献を構成する。
関連論文リスト
- Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。
本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
論文 参考訳（メタデータ） (2025-12-28T05:48:55Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - A Homogenization Approach for Gradient-Dominated Stochastic Optimization [6.1144486886258065]
勾配支配を享受する関数に対する同次二階降下法(SHSOD)を提案する。
以上の結果から,SHSODMは勾配優先最適化法において,他の2次法で達成された最もよく知られたサンプルの複雑さと一致していることがわかった。
論文 参考訳（メタデータ） (2023-08-21T11:03:04Z) - Regularization and Variance-Weighted Regression Achieves Minimax
Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。
MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。
我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
論文 参考訳（メタデータ） (2023-05-22T16:13:05Z) - Optimal Convergence Rate for Exact Policy Mirror Descent in Discounted
Markov Decision Processes [18.35462792871242]
Policy Mirror Descentは、強化学習における様々な新しい基本的な手法を網羅するアルゴリズムのファミリーである。
不正確な政策評価を伴う政策反復の不安定性に動機づけられたPMDは、PIの政策改善ステップをアルゴリズム的に規則化する。
我々は,適応的なステップサイズの下で,非正規化PSDアルゴリズムの一般ファミリーによって,PIの次元自由な$gamma$-rateが達成可能であることを示す。
論文 参考訳（メタデータ） (2023-02-22T13:55:08Z) - Improved Convergence Rates for Sparse Approximation Methods in
Kernel-Based Learning [48.08663378234329]
カーネル・リッジ・レグレッションやガウシアン・プロセスのようなカーネル・ベース・モデルは機械学習の応用においてユビキタスである。
既存のスパース近似法は計算コストを大幅に削減することができる。
我々は,Nystr"om法と疎変動ガウス過程近似法に対して,新しい信頼区間を提供する。
論文 参考訳（メタデータ） (2022-02-08T17:22:09Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - A Retrospective Approximation Approach for Smooth Stochastic
Optimization [0.2867517731896504]
グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
論文 参考訳（メタデータ） (2021-03-07T16:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。