論文の概要: Exploring Starts Are Not Enough: Counterexamples and a Fix for Monte Carlo Exploring Starts

• arxiv url: http://arxiv.org/abs/2606.15247v1
• Date: Sat, 13 Jun 2026 11:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.155986
• Title: Exploring Starts Are Not Enough: Counterexamples and a Fix for Monte Carlo Exploring Starts
• Title（参考訳）: モンテカルロの探索開始は不十分-対外制裁とモンテカルロの観測で
• Authors: Octave Oliviers, Glenn Vinnicombe,
• Abstract要約: 本稿では,初診時と初診時の両方に新しい反例を示す。 サンプル平均更新を伴う初期訪問型MCESには,安定した準最適解が存在する可能性が示唆された。 次に、サンプル平均視認率第一視認率 MCES も準最適解に収束する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The asymptotic behaviour of Monte Carlo Exploring Starts (MCES) is a long-standing open question in reinforcement learning, even in the tabular setting. We investigated the convergence properties of tabular MCES by constructing examples in which the algorithm converges to suboptimal solutions. This paper presents new counterexamples for both initial-visit and first-visit MCES and gives a convergence-restoring modification for the initial-visit case. We show that stable suboptimal solutions may exist for initial-visit MCES with sample-average updates even when greedy actions are updated more often than non-greedy actions on average. However, by scaling learning rates inversely to update frequencies on a state-by-state basis, convergence to optimality is guaranteed. Unlike previous uniformisation methods, this modification is applicable to large-scale problems that require approximating the estimated value function. We then extend the example to show that sample-average first-visit MCES may also converge to suboptimal solutions. This largely settles a fundamental open problem and shows that exploring starts alone do not guarantee convergence to optimality. More broadly, these results highlight that convergence depends critically on the relative size and frequency of updates applied to different actions, making the choice of learning rates and the balance between exploration and exploitation central to the analysis of MCES and the implementation of scalable Monte Carlo control methods.
• Abstract（参考訳）: MCES(Monte Carlo Exploring Starts)の漸近的行動は、表の設定においても強化学習において長年のオープンな問題である。 本研究では,このアルゴリズムが最適下解に収束する例として,表型MCESの収束特性について検討した。 本稿では,初期ビジットと第1ビジットのMCESに対する新しい反例を提示し,初期ビジットの場合のコンバージェンス復元の修正について述べる。 本研究は, 初期訪問型MCESにおいて, グリージー動作が非グリージー動作よりも頻繁に更新される場合においても, サンプル平均更新を伴う安定なサブ最適解が存在することを示す。 しかし、状態ごとの周波数更新に逆向きに学習率を拡大することにより、最適性への収束が保証される。 従来の均一化法とは異なり、この修正は推定値関数の近似を必要とする大規模問題に適用できる。 次に、サンプル平均視認率第一視認率 MCES も準最適解に収束する可能性があることを示す。 これは基本的にはオープンな問題であり、探索は単独で最適性への収束を保証するものではないことを示す。 より広義には、収束は異なる行動に適用される更新の相対的サイズと頻度に大きく依存し、MCESの分析とスケーラブルなモンテカルロ制御手法の実装の中心となる学習率と探索と搾取のバランスを導出する。

関連論文リスト

• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• Performative Reinforcement Learning with Linear Markov Decision Process [14.75815792682734]
  提案手法がマルコフ決定過程の報酬と遷移の両方に影響を及ぼすような表現的強化学習の設定について検討する。 大規模MDPの主要な理論モデルであるEmphlinear Markov決定過程を一般化する。
  論文  参考訳（メタデータ） (2024-11-07T23:04:48Z)
• Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
  本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。 提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
  論文  参考訳（メタデータ） (2024-10-18T17:13:29Z)
• Exploiting Structure for Optimal Multi-Agent Bayesian Decentralized Estimation [4.320393382724066]
  ベイジアン分権データ融合の鍵となる課題は、噂の伝播(double counting)現象である。 マルチエージェント分散核融合問題における確率的独立構造を利用して、より厳密な境界を求めることができることを示す。 次に、大規模目標追跡シミュレーションを用いて、新しいモノリシックCIアルゴリズムを試験し、より厳密な境界とより正確な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-07-20T05:16:33Z)
• Solving Recurrent MIPs with Semi-supervised Graph Neural Networks [15.54959083707859]
  本稿では,変数の値を予測することで,MIPの解を自動化・高速化するMLモデルを提案する。 私たちのアプローチは、多くの問題インスタンスが健全な特徴とソリューション構造を共有しているという観察によって動機付けられています。 例えば、輸送やルーティングの問題では、商品の量やリンクコストが変わるたびに、決定を再最適化する必要がある。
  論文  参考訳（メタデータ） (2023-02-20T15:57:56Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning [8.19727735624814]
  強化学習のための単純で自然なアルゴリズムはMonte Carlo Exploring Starts (MCES)である 我々は,元来のより効率的な MCES アルゴリズムを駆使し,最適ポリシーフィードフォワード MDP の収束性をほぼ確実に確立する。 我々は、非常に単純で、大数の強法則のみを利用する、新しい帰納的アプローチを導入する。
  論文  参考訳（メタデータ） (2020-02-10T07:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。