Fugu-MT 論文翻訳(概要): Convergence of Monte Carlo Optimistic Policy Iteration: Beyond Uniform State-Action Updates

論文の概要: Convergence of Monte Carlo Optimistic Policy Iteration: Beyond Uniform State-Action Updates

arxiv url: http://arxiv.org/abs/2606.10580v1
Date: Tue, 09 Jun 2026 08:45:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-10 15:40:58.396622
Title: Convergence of Monte Carlo Optimistic Policy Iteration: Beyond Uniform State-Action Updates
Title（参考訳）: モンテカルロの最適政策イテレーションの収束性:統一的ステート・アクション・アップデートを超えて
Abstract要約: モンテカルロの楽観的な政策反復(MC-O-PI)の振る舞いは、長年にわたるオープンな問題である。初期訪問型MC-O-PIは,各状態内の動作に対してのみ更新が均一である場合でも最適性に収束することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The asymptotic behaviour of Monte Carlo optimistic policy iteration (MC-O-PI) is a long-standing open question. When the model of the environment is unknown, as is common in practice, the only known condition that guarantees convergence to optimality is impractical. In its canonical form, this condition requires that the episodes used for policy evaluation be initialised uniformly over the entire state-action space. This paper strictly relaxes that requirement. Specifically, we prove that initial-visit MC-O-PI converges to optimality even when updates are uniform only over the actions within each state. This allows episodes to start in different states at arbitrary frequencies; a realistic implementation when the state space is large or unknown but the action space in each state is manageable. The proof departs from the classical analysis of Tsitsiklis whose central commutativity argument no longer applies when states are updated at different frequencies. Instead, we first show that the mean-field dynamics of MC-O-PI generate monotonically improving policies when updates are uniform over the actions in each state, and then prove that noise cannot consistently prevent this improvement by extending the lock-in argument of the combined stability-ODE method. This approach suggests a new way to study optimistic policy-iteration algorithms in general.
Abstract（参考訳）: モンテカルロの楽観的政策反復(MC-O-PI)の漸近的行動は、長年の未解決問題である。環境のモデルが不明な場合、実際によく見られるように、最適性への収束を保証する唯一の既知の条件は非現実的である。標準形式では、この条件は、政策評価に使用されるエピソードを、状態-行動空間全体にわたって均一に初期化する必要がある。この論文はその要件を厳格に緩和する。具体的には,初期訪問型MC-O-PIは,各状態内の動作に対してのみ更新が均一である場合でも,最適性に収束することを示す。これにより、エピソードは任意の周波数で異なる状態から開始できる。状態空間が大きければ、あるいは未知であっても、各状態のアクション空間は管理可能であるような現実的な実装である。この証明は、異なる周波数で状態が更新されたときに中心可換性議論がもはや適用されないツィシクルスの古典的な解析から逸脱している。その代わりに、MC-O-PIの平均場ダイナミクスは、更新が各状態の動作に対して均一である場合、単調に改善されたポリシーを生成し、その後、結合された安定性ODE法のロックイン引数を拡張することで、ノイズがこの改善を継続的に防止できないことを証明した。このアプローチは、楽観的なポリシーイテレーションアルゴリズムを一般に研究する新しい方法を提案する。

関連論文リスト

Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文参考訳（メタデータ） (2026-05-20T15:14:14Z)
Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces [48.37754141688874]
本稿では,スコアと状態表現の次元である$Rd$のスコア評価の実行平均で履歴を要約するフレームワークを提案する。この歴史は指数的なスコア傾きによって代理対象に変換され、歴史に基づく反発の大きさを制御する際の反発の強さを表す$$がインデックス付けされる。連続目標モデルと離散エネルギーベースモデルの実験では、メモリ使用率を$O(d)$に抑えつつ、推定値の分散とモードカバレッジを改善した。
論文参考訳（メタデータ） (2026-04-24T18:39:50Z)
Convergence of Policy Mirror Descent Beyond Compatible Function Approximation [66.4260157478436]
我々は,より弱い変動支配を前提とした理論的PMD一般政策クラスを開発し,最良クラス政策への収束を得る。我々の主観念は、占有度-勾配測度によって誘導される局所ノルムによって誘導される新しい概念を活用する。
論文参考訳（メタデータ） (2025-02-16T08:05:46Z)
$K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic Control [0.6906005491572401]
歴史的データからポリシーの性能を推定するための,新規な$K$-nearest 隣人パラメトリック手法を提案する。私たちの分析は、ほとんどのアプリケーションで一般的なプラクティスであるように、エピソード全体のサンプリングを可能にします。他のOPE手法と比較して、我々のアルゴリズムは最適化を必要とせず、木に基づく近接探索と並列化によって効率的に実装することができ、環境のダイナミクスのパラメトリックモデルを明示的に仮定することはない。
論文参考訳（メタデータ） (2023-06-07T23:55:12Z)
Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption [12.471848976031904]
基本的な目標は、腕の数($N$)が大きくなるにつれて、最適性のギャップを小さくするポリシーを効率的に計算することである。既存の最適性に関する結果は、すべて一様大域的誘引特性(UGAP)に依存している。我々は,任意の単一武器のポリシーを元の$N$武器の問題に対するポリシーに変換する,汎用的なシミュレーションベースのフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-31T21:26:43Z)
Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
論文参考訳（メタデータ） (2023-03-05T03:35:11Z)
Policy learning "without" overlap: Pessimism and generalized empirical Bernstein's inequality [94.89246810243053]
本論文は,事前収集した観測値を利用して最適な個別化決定規則を学習するオフライン政策学習について検討する。既存の政策学習法は、一様重なりの仮定、すなわち、全ての個々の特性に対する全ての作用を探索する正当性は、境界を低くしなければならない。我々は,点推定の代わりに低信頼度境界(LCB)を最適化する新しいアルゴリズムであるPPLを提案する。
論文参考訳（メタデータ） (2022-12-19T22:43:08Z)
Global Optimality and Finite Sample Analysis of Softmax Off-Policy Actor Critic under State Distribution Mismatch [26.23228392999382]
我々は、非政治アクター批評家アルゴリズムのグローバル最適性と収束率を確立する。私たちの研究は、政策勾配法の最適性に関する既存の研究を超えています。
論文参考訳（メタデータ） (2021-11-04T16:48:45Z)
Optimization Issues in KL-Constrained Approximate Policy Iteration [48.24321346619156]
多くの強化学習アルゴリズムは、近似ポリシー反復(API)のバージョンと見なすことができる。標準APIはしばしば動作が悪いが、KL-divergenceによる各ポリシー更新を以前のポリシーに正規化することで学習が安定化できることが示されている。 TRPO、MPO、VMPOなどの一般的な実用的なアルゴリズムは、連続ポリシーのKL分割に関する制約によって正規化を置き換える。
論文参考訳（メタデータ） (2021-02-11T19:35:33Z)
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes [0.0]
システム力学と測定チャネルモデルが知られていると仮定したPOMDPの計画問題について検討する。軽度非線形フィルタ安定性条件下で近似的信念モデルに対する最適ポリシーを求める。また、有限ウィンドウメモリサイズと近似誤差境界を関連づけた収束結果のレートを確立する。
論文参考訳（メタデータ） (2020-10-15T00:37:51Z)
On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning [8.19727735624814]
強化学習のための単純で自然なアルゴリズムはMonte Carlo Exploring Starts (MCES)である我々は,元来のより効率的な MCES アルゴリズムを駆使し,最適ポリシーフィードフォワード MDP の収束性をほぼ確実に確立する。我々は、非常に単純で、大数の強法則のみを利用する、新しい帰納的アプローチを導入する。
論文参考訳（メタデータ） (2020-02-10T07:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。