論文の概要: Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs

• arxiv url: http://arxiv.org/abs/2609.32933v1
• Date: Sat, 26 Sep 2026 20:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:51:55.182148
• Title: Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
• Title（参考訳）: 拘束型MDPにおけるオンライン強化学習のための最期保証
• Abstract要約: 我々は,構造化制約付きMDPにおける最終項目収束のための汎用的,統計的に効率的なフレームワークを開発する。 線形CMDPと一般関数近似のためのフレームワークをインスタンス化する。
• 参考スコア（独自算出の注目度）: 13.500508310921779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In safety-critical applications, deployment uses a single policy, whose performance and constraint satisfaction should hold directly rather than only for an average or mixture of training policies. This motivates last-iterate guarantees in constrained reinforcement learning. Recent progress has established such guarantees in exact-gradient or tabular online settings, yet scalable results for structured large-state problems remain open. We develop a general, statistically efficient framework for last-iterate convergence in structured Constrained MDPs (CMDPs). Our analysis separates contraction of the regularised primal-dual dynamics from actor approximation and statistical errors in policy evaluation under online exploration. This enables model-free on- and off-policy learning with structured function approximation: optimistic policy evaluation avoids explicit transition-model construction, while a compact parametric actor avoids maintaining mixtures or histories of past policies. We instantiate the framework for linear CMDPs and general function approximation, obtaining representation-dependent complexity and improved target-accuracy dependence over prior optimistic regularised primal-dual analyses. We further validate the stabilising effect predicted by our theory on a synthetic linear CMDP: the regularised method exhibits stable last-iterate behaviour, whereas its unregularised counterpart shows larger oscillations.
• Abstract（参考訳）: 安全クリティカルなアプリケーションでは、デプロイは単一のポリシを使用し、パフォーマンスと制約満足度は、平均的あるいは混合的なトレーニングポリシではなく、直接的に保持するべきである。 このことは、制約付き強化学習における最終段階の保証を動機付けている。 近年の進歩は、正確な段階的なオンライン設定や表形式のオンライン設定においてそのような保証を確立しているが、構造化された大規模状態問題に対するスケーラブルな結果はまだ未解決のままである。 我々は,構造化制約型MDP(CMDP)における最終項目収束のための汎用的,統計的に効率的なフレームワークを開発する。 本分析は,オンライン探索による政策評価におけるアクター近似と統計的誤差から,正規化原始双対力学の収縮を分離する。 楽観的な政策評価は明確な移行モデルの構築を回避し、コンパクトなパラメトリックアクターは過去の政策の混合や履歴の維持を避ける。 我々は,線形CMDPと一般関数近似のためのフレームワークをインスタンス化し,表現依存の複雑性と,事前の楽観的な正規化原始双対解析に対する目標精度依存性を改善した。 さらに, 合成線形CMDP理論により予測される安定化効果を検証し, 正則化法は安定な終点挙動を示す一方, 不規則化法は大きな振動を示す。

関連論文リスト

• Topological Feasibility Guarantees for Differentiable Predictive Control [0.8880611506199766]
  微分予測制御(DPC)は、明示的モデル予測制御(MPC)ポリシーを近似するための自己教師付き学習手法である。 安全管理のコア要件であるファシビリティ保証は、現在、確率的またはオンライン安全フィルタを介して提供されている。 本稿では,誘導可能な安全セットの新たなトポロジカル解析を用いて,DPCに対する決定論的実現可能性を保証する。
  論文  参考訳（メタデータ） (2026-08-11T00:27:50Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
  我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。 本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-10T08:18:27Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization [11.739526562075339]
  ロバスト正規化マルコフ決定過程 (RRMDP) は、値関数の遷移力学に正規化を加えることで、ダイナミクスシフトに頑健なポリシーを学ぶために提案される。 本稿では,リニア関数近似を用いたロバスト正規化ペシミスティック値反復法 (R2PVI) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-27T18:57:03Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。