論文の概要: Provably Efficient Representation Learning for Low-Rank CMDPs

• arxiv url: http://arxiv.org/abs/2611.07295v1
• Date: Thu, 05 Nov 2026 01:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.484305
• Title: Provably Efficient Representation Learning for Low-Rank CMDPs
• Title（参考訳）: 低ランクCMDPの確率的表現学習
• Abstract要約: 低ランク制約マルコフ決定過程(CMDP)における表現学習の研究 そこで本稿では,モデルフリーのアルゴリズムであるtextttMFRLC (Model-Free Representation Learning for Low-Rank CMDP) を提案する。 高い確率で、textttMFRLCが$widetilde O(K3/4)$ reward regretと累積的制約違反をK$のデプロイメントラウンドで達成していることを証明している。
• 参考スコア（独自算出の注目度）: 21.347068945046612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study representation learning in low-rank Constrained Markov Decision Processes (CMDPs), where both value and reward functions are approximated by a set of unknown representation vectors, and the transition dynamics admit a low-rank factorization. The objective is to maximize expected cumulative rewards while complying with constraints on the expected cumulative utility. To achieve this, we propose \texttt{MFRLC} (Model-Free Representation Learning for Low-Rank CMDP), a model-free algorithm that uses a primal-dual scheme to effectively balance reward regret and constraint violations. To the best of our knowledge, \texttt{MFRLC} is the first representation-learning method for low-rank CMDPs that combines the Least-Squares Value Iteration with Upper Confidence Bound (LSVI-UCB) and primal-dual techniques. \texttt{MFRLC} further enhances value function estimation with bonuses for function approximation and learns the mapping from representations to value functions directly, avoiding explicit estimation of the transition kernel. We prove that, with high probability, \texttt{MFRLC} achieves $\widetilde O(K^{3/4})$ reward regret and cumulative constraint violation over $K$ deployment rounds, independent of the size of the state space. To our knowledge, these are the first sublinear regret and violation guarantees for CMDPs with unknown features.
• Abstract（参考訳）: 低ランク制約マルコフ決定過程(CMDP)における表現学習について検討し、そこでは値関数と報酬関数が未知の表現ベクトルの集合によって近似され、遷移ダイナミクスは低ランク因子化を許容する。 その目的は、期待累積効力の制約を遵守しつつ、期待累積効力の最大化である。 そこで本研究では,モデルフリーなアルゴリズムである「texttt{MFRLC} (Model-Free Representation Learning for Low-Rank CMDP)」を提案する。 我々の知識を最大限に活用するために, <texttt{MFRLC} は,Last-Squares Value Iteration と upper Confidence Bound (LSVI-UCB) を組み合わせた低ランクCMDPのための最初の表現学習手法である。 \texttt{MFRLC} はさらに、関数近似のボーナスによる値関数の推定を強化し、表現から値関数への直接マッピングを学習し、トランジションカーネルの明示的な推定を避ける。 高い確率で、 \texttt{MFRLC} が$\widetilde O(K^{3/4})$ reward regret and cumulative constraint violation over $K$ deployment rounds, without the size of the state space。 我々の知る限り、これらはCMDPが未知の特徴を持つことに対する最初のサブ線形後悔と違反保証である。

関連論文リスト

• Primal-Dual Representation Learning for Low-Rank Constrained MDPs [16.42285234328318]
  連続状態空間を持つ低ランク連続状態CMDPの表現学習について検討する。 ソフト累積違反設定のためのREP-PD-TEGを提案する。 我々は、返却政策に対する後悔とソフト違反の保証を証明し、崩壊する$-greedy探査の影響を定量化する。
  論文  参考訳（メタデータ） (2026-10-22T05:23:42Z)
• Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
  結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。 適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
  論文  参考訳（メタデータ） (2025-05-26T17:44:08Z)
• Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning [13.429541377715296]
  無限水平割引線形マルコフ決定過程において, 速度-最適後悔保証を実現するための計算効率のよいアルゴリズムを提案する。 正規化された近似的動的プログラミングスキームと組み合わせると、結果のアルゴリズムは、$tildemathcalO (sqrtd3 (1 - gamma)- 7 / 2 T)$, $T$ はサンプル遷移の総数、$gamma in (0,1)$ は割引係数、$d$ は特徴次元を後悔する。
  論文  参考訳（メタデータ） (2025-02-19T17:32:35Z)
• Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation [69.0695698566235]
  線形関数近似による強化学習と,コスト関数の逆変化について検討した。 本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T17:26:39Z)
• Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection [136.4014229319618]
  線形構造を持つ有限水平マルコフ決定過程(MDPs)における後悔最小化における状態-作用値関数の表現の役割について検討する。 まず,線形報酬関数を持つ任意のMDPにおいて,一貫した後悔を実現するために,Universally spaning optimal features (UNISOFT) と呼ばれる表現に必要条件を導出する。
  論文  参考訳（メタデータ） (2021-10-27T22:07:08Z)
• Nonstationary Reinforcement Learning with Linear Function Approximation [19.521419943509784]
  ドリフト環境下での線形関数近似によるマルコフ決定過程(MDP)における強化学習について考察する。 まず、周期的再起動を伴う最小二乗値の楽観的な修正を開発し、変動予算が分かっている場合にその動的後悔を束縛する。 非定常線型 MDP に対する最初の minimax dynamic regret lower bound を導出し、副生成物として Jin らによって未解決の線型 MDP に対する minimax regret lower bound を定めている。
  論文  参考訳（メタデータ） (2020-10-08T20:07:44Z)
• Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
  アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。 部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。 エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
  論文  参考訳（メタデータ） (2020-09-21T09:11:36Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。