Fugu-MT 論文翻訳(概要): Provably Efficient Q-learning for Robust Reinforcement Learning

論文の概要: Provably Efficient Q-learning for Robust Reinforcement Learning

arxiv url: http://arxiv.org/abs/2610.35656v1
Date: Mon, 26 Oct 2026 16:03:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:14.063349
Title: Provably Efficient Q-learning for Robust Reinforcement Learning
Title（参考訳）: ロバスト強化学習におけるQ-ラーニングの有効性
Abstract要約: マルコフ決定過程(MDP)に基づく強化学習アルゴリズムは、シム・トゥ・リアルギャップに対して脆弱である。頑健なRLのためのサンプル効率(非同期Q-ラーニング)アルゴリズムを提案する。結果はほぼ最小限の最適化であり、追加の要素は$frac11-$である。
参考スコア（独自算出の注目度）: 9.816278711308632
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Standard reinforcement learning (RL) algorithms based on Markov Decision Processes (MDPs) are vulnerable to sim-to-real gaps. To address this issue, distributionally robust RL algorithms based on robust MDPs (RMDPs) have been proposed, for ensuring that agents can perform reliably to unpredictable conditions in real-world environments. Despite of the rich literature, \revision{an efficient model-free method is still lacking} for robust RL, particularly for Markovian data, which is more relevant in practical applications. In this work, we take a step towards settling this problem by proposing a sample efficient (asynchronous Q-learning) algorithm for robust RL. In particular, consider a $γ$-discounted infinite-horizon RMDP with state space $\mathcal{S}$ and action space $\mathcal{A}$, where the uncertainty set is specified by the total variation (TV) distance with uncertainty level $σ$. Assuming access to a single trajectory of Markovian samples induced by a behavior policy and the nominal transition kernel, the sample complexity of the proposed Q-learning algorithm --- to achieve an entrywise $\varepsilon$-approximation of the optimal Q-function --- is bounded by $$ \frac{1}{μ_{\mathsf{min}}\varepsilon^2(1-γ)^3\max\{1-γ,σ\}} + \frac{t_{\mathsf{mix}}}{μ_{\mathsf{min}}(1-γ)} $$ up to logarithmic factors. Here, $t_{\mathsf{mix}}$ and $μ_{\mathsf{min}}$ denote the mixing time and the minimum state-action occupancy probability of the sample trajectory, respectively. This result is nearly minimax optimal, with an additional factor of $\frac{1}{1-γ}$. Moreover, it achieves a significant improvement over existing bounds.
Abstract（参考訳）: マルコフ決定過程(MDP)に基づく標準強化学習(RL)アルゴリズムは、sim-to-realギャップに対して脆弱である。この問題に対処するために、エージェントが実環境において予測不可能な条件に確実に対応できるように、ロバストなMDP(RMDP)に基づく分散ロバストなRLアルゴリズムが提案されている。リッチな文献にもかかわらず、ロバストなRL、特に実用的な応用においてより関係のあるマルコフデータに対して、 'revision{an efficient model-free method' は依然として欠落している。本研究では,ロバストなRLのためのサンプル効率(非同期Q-ラーニング)アルゴリズムを提案することにより,この問題の解決に向けた一歩を踏み出した。特に、状態空間 $\mathcal{S}$ と作用空間 $\mathcal{A}$ を持つ $γ$ の無限水平RMDP を考える。行動ポリシーと名目遷移カーネルによって誘導されるマルコフサンプルの1つの軌跡にアクセスできると仮定すると、提案されたQ-ラーニングアルゴリズムのサンプル複雑さ --- のエントリーワイドな$\varepsilon$-approximation of the optimal Q-function --- は$$$ \frac{1}{μ_{\mathsf{min}}\varepsilon^2(1-γ)^3\max\{1-γ,σ\}} + \frac{t_{\mathsf{mix}}}{μ_{\mathsf{min}}(1-γ)} $$$で制限される。ここで、$t_{\mathsf{mix}}$と$μ_{\mathsf{min}}$はそれぞれ標本軌道の混合時間と最小状態-作用占有確率を表す。この結果は、ほぼ最小限の最適化であり、追加の係数は$\frac{1}{1-γ}$である。さらに、既存の境界よりも大幅に改善されている。

論文の概要: Provably Efficient Q-learning for Robust Reinforcement Learning

関連論文リスト