論文の概要: Primal-Dual Representation Learning for Low-Rank Constrained MDPs
- arxiv url: http://arxiv.org/abs/2610.30756v1
- Date: Thu, 22 Oct 2026 05:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.223913
- Title: Primal-Dual Representation Learning for Low-Rank Constrained MDPs
- Title（参考訳）: 低域制約MDPの初等2次元表現学習
- Abstract要約: 連続状態空間を持つ低ランク連続状態CMDPの表現学習について検討する。
ソフト累積違反設定のためのREP-PD-TEGを提案する。
我々は、返却政策に対する後悔とソフト違反の保証を証明し、崩壊する$-greedy探査の影響を定量化する。
- 参考スコア（独自算出の注目度）: 16.42285234328318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representation learning has substantially improved the efficiency of unconstrained continuous-state Markov Decision Processes (MDPs), but its extension to Constrained MDPs (CMDPs) is difficult because the transition representation must be learned while constraint violation is controlled. In this paper, we study representation learning for low-rank CMDPs with continuous state spaces, and propose REP-PD-TEG for the soft cumulative-violation setting. In the feature learning period, the algorithm interacts with the environment using a decaying-$ε$-greedy mixture execution policy, and uses the collected samples to learn transition features by maximum likelihood. Based on the learned features, it constructs uncertainty bonuses and plans with an optimistic Lagrangian objective to obtain the return policy. We prove regret and soft-violation guarantees for the return policies, and quantify the influence of the decaying-$ε$-greedy exploration. In particular, REP-PD-TEG achieves the optimal $\widetilde O(\sqrt K)$ return policy bound, and gives a $\widetilde O(K^{3/4})$ overall sample bound when exploratory actions are charged. For the stricter hard cumulative violation, where feasibility must be verified episode by episode, we propose REP-PD-H-TEG. It plans under a bonus-corrected lower-confidence utility certificate with the learned representation, and performs a stabilized dual search to obtain the return policy, yielding regret and hard-violation bounds. Together, these results give the first theoretically guaranteed representation-learning method for low-rank continuous-state CMDPs with both soft cumulative guarantees and certified hard-violation control.
- Abstract（参考訳）: 表現学習は、制約のないマルコフ決定過程(MDPs)の効率を大幅に向上させたが、制約違反を制御しながら遷移表現を学習しなければならないため、制約付きMDP(CMDPs)への拡張は困難である。
本稿では,連続状態空間を持つ低ランクCMDPの表現学習について検討し,ソフト累積違反に対するREP-PD-TEGを提案する。
特徴学習期間において、このアルゴリズムは崩壊するε$-greedy混合実行ポリシーを用いて環境と相互作用し、収集したサンプルを用いて最大で遷移特徴を学習する。
学習した特徴に基づいて、不確実なボーナスと計画を構築し、楽観的なラグランジアン目標で返却ポリシーを得る。
我々は、返却政策に対する後悔とソフト違反の保証を証明し、崩壊するε$-greedy探査の影響を定量化する。
特に、REP-PD-TEG は最適な $\widetilde O(\sqrt K)$ return policy bound を達成し、探索アクションがチャージされたときに、$\widetilde O(K^{3/4})$ overall sample bound を与える。
エピソードごとに実現可能性を確認しなければならない厳格な累積違反に対して,REP-PD-H-TEGを提案する。
学習した表現を付加したボーナス修正低信頼ユーティリティ証明書の下で計画し、安定した二重探索を行い、返却ポリシーを取得し、後悔とハード違反の限界を生じる。
これらの結果は,ソフト累積保証と認定ハード違反制御を併用した,低ランク連続状態CMDPの表現学習法として初めて理論的に保証されたものである。
関連論文リスト
- Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。
我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。
任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
論文 参考訳（メタデータ） (2026-09-29T07:54:06Z) - Ratio-Variance Regularized Policy Optimization [64.95520246570446]
ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。
本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2026-05-26T09:53:42Z) - PAC-Bayesian Reward-Certified Outcome Weighted Learning [0.0]
結果重み付け学習(OWL)による最適個別化処理規則(ITR)の推定は、しばしば真に潜伏したユーティリティに対してうるさいあるいは楽観的なプロキシである観察された報酬に依存する。
PAC-Bayesian Reward-Certified Outcome Weighted Learning (PROWL)を提案する。
一方的な不確実性証明が与えられた場合、PROWLは真の期待値に基づいて、保守的な報酬と厳密なポリシーに依存した下限を構築する。
論文 参考訳（メタデータ） (2026-04-02T12:08:56Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。
R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-01-06T14:01:42Z) - Provably Efficient Sample Complexity for Robust CMDP [7.060086147428817]
安全制約を満たしつつ累積報酬を最大化する学習政策の問題点を考察する。
我々は,強固な制約付きマルコフ決定プロセス(RCMDPs)に焦点を当てる。そこではエージェントは,累積効用がしきい値を超えることを保証しながら報酬を最大化しなければならない。
本稿では,ロバスト制約値反復(RCVI)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-11-10T04:40:37Z) - Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization [11.739526562075339]
ロバスト正規化マルコフ決定過程 (RRMDP) は、値関数の遷移力学に正規化を加えることで、ダイナミクスシフトに頑健なポリシーを学ぶために提案される。
本稿では,リニア関数近似を用いたロバスト正規化ペシミスティック値反復法 (R2PVI) アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-27T18:57:03Z) - On the Global Convergence of Policy Gradient in Average Reward Markov
Decision Processes [50.68789924454235]
我々は、平均報酬マルコフ決定過程(MDP)の文脈における政策勾配の最初の有限時間大域収束解析を示す。
我々の分析によると、ポリシー勾配は、$Oleft(frac1Tright)$のサブリニアレートで最適ポリシーに収束し、$Oleft(log(T)right)$ regretに変換され、$T$は反復数を表す。
論文 参考訳（メタデータ） (2024-03-11T15:25:03Z) - A safe exploration approach to constrained Markov decision processes [7.036452261968767]
無限水平制約マルコフ決定過程(CMDP)について考察する。
目標は、期待される累積的制約を満たしつつ、期待される累積的報酬を最大化する最適なポリシーを見つけることである。
安全クリティカルなシステムに対するオンライン学習におけるCMDPの適用により、モデルフリーでエフェミュレータフリーなアルゴリズムの開発に焦点をあてる。
論文 参考訳（メタデータ） (2023-12-01T13:16:39Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。