論文の概要: Power Mean Estimation in Stochastic Continuous Monte Carlo Tree Search
- arxiv url: http://arxiv.org/abs/2609.06489v1
- Date: Sun, 06 Sep 2026 09:04:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.257029
- Title: Power Mean Estimation in Stochastic Continuous Monte Carlo Tree Search
- Title（参考訳）: 確率的連続モンテカルロ木探索におけるパワー平均推定
- Abstract要約: 連続マルコフ決定過程(MDP)のためのモンテカルロ木探索法を提案する。
我々の理論解析により、Algname は $mathcalO(n-)$, $in (0,1/2)$ の速度で収束することを証明している。
- 参考スコア（独自算出の注目度）: 0.6903929927172916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Monte Carlo Tree Search (MCTS) has demonstrated success in online planning for deterministic environments, yet significant challenges remain in adapting it to stochastic Markov Decision Processes (MDPs), particularly in continuous state-action spaces. Existing methods, such as HOOT, which combines MCTS with the Hierarchical Optimistic Optimization (HOO) bandit strategy, address continuous spaces but rely on a logarithmic exploration bonus that lacks theoretical guarantees in non-stationary, stochastic settings. Recent advancements, such as POLY-HOOT, introduced a polynomial bonus term to achieve convergence in deterministic MDPs, though a similar theory for stochastic MDPs remains undeveloped. In this paper, we propose a novel MCTS algorithm, \Algname, designed for continuous, stochastic MDPs. \Algname integrates a power mean as a value backup operator, alongside a polynomial exploration bonus to address the non-stationarity inherent in continuous action spaces. Our theoretical analysis establishes that \Algname converges at a polynomial rate of $\mathcal{O}(n^{-ζ})$, $ζ\in (0,1/2)$, where \( n \) is the number of visited trajectories, thereby extending the non-asymptotic convergence guarantees of POLY-HOOT to stochastic environments. Experimental results on stochastic tasks validate our theoretical findings, demonstrating the effectiveness of \Algname in continuous, stochastic domains.
- Abstract（参考訳）: モンテカルロ木探索 (MCTS) は決定論的環境のオンライン計画に成功しているが、マルコフ決定過程 (MDP) への適応には大きな課題がある。
既存の方法であるHOOTは、MCTSと階層最適化(Hierarchical Optimistic Optimization, HOO)バンディット戦略を組み合わせて、連続空間に対処するが、非定常的確率的設定の理論的保証に欠ける対数探索ボーナスに依存している。
POLY-HOOTのような最近の進歩は、決定論的 MDP の収束を達成するために多項式ボーナス項を導入したが、確率的 MDP に関する同様の理論は未発達のままである。
本稿では,連続確率 MDP のための新しいMCTSアルゴリズムである \Algname を提案する。
Algnameは、値バックアップ演算子としてパワー平均と多項式探索ボーナスを統合し、連続的な作用空間に固有の非定常性に対処する。
我々の理論的解析は、アルグナムが$\mathcal{O}(n^{->})$, $\in (0,1/2)$ の多項式速度で収束することを証明し、そこでは、(n \) は訪問軌跡の数であり、これによってPOLY-HOOTの非漸近収束保証を確率的環境へ拡張する。
確率的タスクの実験結果から,連続的,確率的領域における \Algname の有効性が示された。
関連論文リスト
- Finite-Time Analysis of MCTS in Continuous POMDP Planning [9.578783083599621]
本稿では, 部分観測可能決定過程(POMDP)におけるモンテカルロ木探索(MCTS)の有限時間解析について述べる。
離散観測空間と連続観測空間の両方に確率的濃度境界がある。
本稿では, ボロノイセルを用いた連続観測空間を適応的に分割する, f inite-time 保証付き POMCPOW の変種を提案する。
論文 参考訳（メタデータ） (2026-05-08T13:13:29Z) - Decentralized Proximal Stochastic Gradient Langevin Dynamics [4.385194124090593]
凸領域に制約された対数凹面確率分布からのサンプリングのための分散近位ランゲヴィンダイナミクス(DE-PSGLD)。
制約領域に対する最初の分散化アプローチとして、アルゴリズムは高速な後部濃度と高い予測精度を示す。
論文 参考訳（メタデータ） (2026-05-01T15:11:06Z) - Polynomial Regret Concentration of UCB for Non-Deterministic State Transitions [18.347534843178355]
本稿ではモンテカルロ木探索(MCTS)の理論的枠組みを非決定論的状態遷移に拡張する。
私たちの主な貢献は、これらの境界が非決定論的環境にも適用され、設定における堅牢なパフォーマンスが保証されることを示すことです。
これにより、自律システムや金融意思決定など、現実的な意思決定問題に対するMCTSの適用性が拡大する。
論文 参考訳（メタデータ） (2025-02-09T15:46:42Z) - MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times [49.1574468325115]
最適勾配を計算できる複数の並列作業者の設定において、滑らかな非関数の期待を最小化する問題について検討する。
この文脈における課題は、任意に不均一で分散された計算時間の存在である。
本稿では,このギャップに対処する新しい並列SGD法であるMindFlayer SGDを紹介する。
論文 参考訳（メタデータ） (2024-10-05T21:11:32Z) - Power Mean Estimation in Stochastic Monte-Carlo Tree_Search [25.058008522872747]
Monte-Carlo Tree Search (MCTS)は、Monte-Carloサンプリングとフォワードツリー検索を組み合わせたオンラインプランニングのための広く使われている戦略である。
UCTの理論的基礎は対数的ボーナス項の誤りにより不完全である。
本稿では,MDPに適したパワー平均推定器を用いたアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-04T11:56:37Z) - On the Global Convergence of Policy Gradient in Average Reward Markov
Decision Processes [50.68789924454235]
我々は、平均報酬マルコフ決定過程(MDP)の文脈における政策勾配の最初の有限時間大域収束解析を示す。
我々の分析によると、ポリシー勾配は、$Oleft(frac1Tright)$のサブリニアレートで最適ポリシーに収束し、$Oleft(log(T)right)$ regretに変換され、$T$は反復数を表す。
論文 参考訳（メタデータ） (2024-03-11T15:25:03Z) - Exponential convergence rates for momentum stochastic gradient descent in the overparametrized setting [0.6445605125467574]
我々は運動量勾配降下スキーム(MSGD)の収束率の有界性を証明する。
摩擦の最適選択を解析し、MSGDプロセスがほぼ確実に局所に収束することを示す。
論文 参考訳（メタデータ） (2023-02-07T15:59:08Z) - Continuous Monte Carlo Graph Search [61.11769232283621]
連続モンテカルログラフサーチ(Continuous Monte Carlo Graph Search, CMCGS)は、モンテカルログラフサーチ(MCTS)のオンラインプランニングへの拡張である。
CMCGSは、計画中、複数の州で同じ行動方針を共有することで高いパフォーマンスが得られるという洞察を生かしている。
並列化によってスケールアップすることができ、学習力学モデルによる連続制御においてクロスエントロピー法(CEM)よりも優れている。
論文 参考訳（メタデータ） (2022-10-04T07:34:06Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。
問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。
我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文 参考訳（メタデータ） (2020-06-18T17:18:02Z) - POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with
Non-Asymptotic Analysis [24.373900721120286]
連続的な状態-作用空間を持つ環境でのモンテカルロ計画を考える。
我々は,モンテカルロ計画に連続的な武装バンディット戦略を付加するアルゴリズムであるPoly-HOOTを紹介する。
非定常バンディット問題において,HOOアルゴリズムが拡張されたことを初めて後悔する。
論文 参考訳（メタデータ） (2020-06-08T15:23:19Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。