論文の概要: Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample

• arxiv url: http://arxiv.org/abs/2606.15978v1
• Date: Sun, 14 Jun 2026 19:04:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:04.982677
• Title: Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
• Title（参考訳）: Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: Certified Counterexle
• Abstract要約: ツィシクリスは、一様更新構造の下でモンテカルロの楽観的な政策反復の収束を証明した。 非均一な更新頻度は繊細な障害である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tsitsiklis proved convergence of Monte Carlo optimistic policy iteration under a uniform update structure and identified nonuniform update frequencies as a delicate obstruction. We give a certified negative answer for the natural scalar-stepsize, unnormalized asynchronous state-value recursion with fixed nonuniform state-selection probabilities. In a three-state, two-action discounted MDP, the nonuniform update frequencies induce a diagonally scaled greedy-policy mean field with a certified nonconstant attracting hybrid periodic orbit. With a bounded unbiased geometric-horizon estimator and Robbins--Monro stepsizes, the original stochastic recursion remains trapped near the cycle with positive probability and therefore fails to converge. The example pinpoints a geometric obstruction: uniform sampling gives radial residual contraction, whereas scalar nonuniform sampling anisotropically distorts the residual dynamics and can generate switched attracting cycles.
• Abstract（参考訳）: ツィシクリスはモンテカルロの楽観的な政策反復を均一な更新構造の下で収束させ、不均一な更新頻度を微妙な障害として同定した。 我々は、固定された非一様状態選択確率を持つ自然なスカラーステップサイズ、非正規化非同期状態値再帰に対して、証明された負の答えを与える。 3状態の2動作割引MDPでは、非一様更新周波数は、ハイブリッド周期軌道を誘引する証明された非定常性を持つ対角スケールのグリーディ・ポリチ平均場を誘導する。 有界な幾何学的水平推定器とロビンズ-モンロが段数化すると、元の確率的再帰は正の確率でサイクルの近傍に留まり、従って収束しない。 均一サンプリングはラジアル残留収縮を与えるが、スカラー非一様サンプリングは残留力学を異方的に歪め、切り換えられた誘引サイクルを発生させる。

関連論文リスト

• Unregularized Convergence of Single-Loop, Entropy-Regularized Natural Actor-Critic [3.756550107432323]
  エントロピー正則化は自然政策勾配法の安定化と加速に広く用いられている。 我々は1ループのエントロピー規則化自然アクター・クライトを解析する。 非中心的な批評家を訓練することで、トレーニング方針が決定論に近づいたとしても、我々の批判的追跡は安定し続けることができる。
  論文  参考訳（メタデータ） (2026-08-20T03:08:33Z)
• Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework [13.105625785987321]
  ユニット(UE)はサドル回避の一般的な前提であるが、実際のノイズ構造を単純化する。 有限サム問題では、勾配ノイズは低次元のデータ依存部分空間に存在することがある。 UEを使わずに再帰の回避定理をほぼ確実に証明する。
  論文  参考訳（メタデータ） (2026-08-04T01:34:36Z)
• Structure-Aware Variance Reduction for Unbiased Randomized Hamiltonian Simulation [0.0]
  ハミルトンシミュレーション法は、しばしば系統バイアスとサンプリングオーバーヘッドの間のトレードオフによって支配される。 本研究では,従来の分散還元手法を,平均チャネルを変更することなく適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-22T16:17:55Z)
• A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling [7.035974899001363]
  我々は, 隣接再帰安定性と重み付き濃度ステップから, 有限ラウンド上尾保証を導出した。 一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。
  論文  参考訳（メタデータ） (2026-06-01T05:36:26Z)
• Geometric and Topological Obstructions to Hermitianization in Quasi-Hermitian Quantum Systems [2.679171884680826]
  準エルミート量子系は類似性変換によって等価なエルミート系に写像することができる。 本研究では, 計量誘起接続の曲率から生じる幾何学的障害物と, 非自明なホロノミーから生じる位相的障害物の2つを同定した。 この結果は、準エルミート系のエルミート化のための幾何学的および位相的基礎を確立する。
  論文  参考訳（メタデータ） (2026-05-06T18:06:59Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Asymmetric regularization mechanism for GAN training with Variational Inequalities [1.529943343419486]
  我々は,GANの学習をナッシュ均衡問題として定式化する。 古典的チホノフステップと新しいゼロ中心勾配ペナルティに基づく非対称正則化機構を提案する。
  論文  参考訳（メタデータ） (2026-01-20T12:50:18Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Metropolis Monte Carlo sampling: convergence, localization transition and optimality [0.0]
  目標定常分布からの偏差は局所化遷移を特徴とすることを示す。 局所化移行前後の緩和は拡散率と拒絶率によってそれぞれ制限されていると論じる。
  論文  参考訳（メタデータ） (2022-07-21T14:06:04Z)
• Non-Hermitian $C_{NH} = 2$ Chern insulator protected by generalized rotational symmetry [85.36456486475119]
  非エルミート系は、系の一般化された回転対称性$H+=UHU+$によって保護される。 我々の発見は、トポロジ的不変量の大きな値によって特徴づけられる新しい非エルミート的トポロジカルシステムへの道を開く。
  論文  参考訳（メタデータ） (2021-11-24T15:50:22Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。