論文の概要: Planning in entropy-regularized Markov decision processes and games
- arxiv url: http://arxiv.org/abs/2604.19695v1
- Date: Tue, 21 Apr 2026 17:17:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.896787
- Title: Planning in entropy-regularized Markov decision processes and games
- Title（参考訳）: エントロピー規則化されたマルコフ決定過程とゲームにおける計画
- Authors: Jean-Bastien Grill, Omar Darwiche Domingues, Pierre Ménard, Rémi Munos, Michal Valko,
- Abstract要約: エントロピー規則化されたマルコフ決定過程と2人プレイヤゲームにおける値関数を推定する新しい計画アルゴリズムを提案する。
SmoothCruiser は正規化によって推進されるベルマン作用素の滑らかさを利用して、所望の精度のエプシロンに対して位数 O (1/epsilon4) の問題に依存しないサンプル複雑性を実現する。
- 参考スコア（独自算出の注目度）: 31.341036736827295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose SmoothCruiser, a new planning algorithm for estimating the value function in entropy-regularized Markov decision processes and two-player games, given a generative model of the environment. SmoothCruiser makes use of the smoothness of the Bellman operator promoted by the regularization to achieve problem-independent sample complexity of order O~(1/epsilon^4) for a desired accuracy epsilon, whereas for non-regularized settings there are no known algorithms with guaranteed polynomial sample complexity in the worst case.
- Abstract（参考訳）: SmoothCruiserは,環境生成モデルを用いて,エントロピー規則化マルコフ決定過程と2プレーヤゲームにおける値関数を推定する新しい計画アルゴリズムである。
SmoothCruiser は正規化によって推進されるベルマン作用素の滑らかさを利用して、所望の精度のエプシロンに対して O~(1/epsilon^4) の問題の非依存的なサンプル複雑性を達成する。
関連論文リスト
- Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization [51.63258496873442]
合成最適化問題に関するこれまでの研究は、滑らか性の主要な部分、あるいはこれら2つの近似滑らか性点をそれぞれ除外した機械学習の例を必要とする。
本研究では,この問題に対する2つの新しいアルゴリズムを提案する。
これらのアルゴリズムは数値実験により有効であることを示す。
論文 参考訳（メタデータ） (2025-10-06T02:35:42Z) - Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo [3.439970905480239]
本稿では,固定点反復とベルマン作用素の一般近似を融合したマルチレベルモンテカルロアルゴリズムを提案する。
本稿では,Bellman演算子に対する偏平MC推定値を用いることで,準ポリノミカル標本の複雑さが生じることを示す。
特に、これらのアルゴリズムは状態空間や作用空間の次元や濃度に依存しない。
論文 参考訳（メタデータ） (2025-03-27T07:35:23Z) - Regularized Q-Learning with Linear Function Approximation [2.765106384328772]
線形汎関数近似を用いた正規化Q-ラーニングの2段階最適化について検討する。
特定の仮定の下では、提案アルゴリズムはマルコフ雑音の存在下で定常点に収束することを示す。
論文 参考訳（メタデータ） (2024-01-26T20:45:40Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳（メタデータ） (2020-06-11T19:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。