論文の概要: Generalized Linear Markov Decision Process

• arxiv url: http://arxiv.org/abs/2506.00818v1
• Date: Sun, 01 Jun 2025 03:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.673483
• Title: Generalized Linear Markov Decision Process
• Title（参考訳）: 一般化線形マルコフ決定過程
• Authors: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Tianxi Cai, Doudou Zhou,
• Abstract要約: 一般化線形モデル(GLM)を用いた一般化線形MDP(GLMDP)フレームワークモデル報酬 一般化悲観的値イテレーション(GPEVI)と半教師付き変種(SS-GPEVI)の2つのオフラインRLアルゴリズムを開発した。 提案アルゴリズムは,政策準最適性に関する理論的保証を達成し,報酬ラベルが高価あるいは制限された設定におけるサンプル効率の向上を実証する。
• 参考スコア（独自算出の注目度）: 9.219628236765933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The linear Markov Decision Process (MDP) framework offers a principled foundation for reinforcement learning (RL) with strong theoretical guarantees and sample efficiency. However, its restrictive assumption-that both transition dynamics and reward functions are linear in the same feature space-limits its applicability in real-world domains, where rewards often exhibit nonlinear or discrete structures. Motivated by applications such as healthcare and e-commerce, where data is scarce and reward signals can be binary or count-valued, we propose the Generalized Linear MDP (GLMDP) framework-an extension of the linear MDP framework-that models rewards using generalized linear models (GLMs) while maintaining linear transition dynamics. We establish the Bellman completeness of GLMDPs with respect to a new function class that accommodates nonlinear rewards and develop two offline RL algorithms: Generalized Pessimistic Value Iteration (GPEVI) and a semi-supervised variant (SS-GPEVI) that utilizes both labeled and unlabeled trajectories. Our algorithms achieve theoretical guarantees on policy suboptimality and demonstrate improved sample efficiency in settings where reward labels are expensive or limited.
• Abstract（参考訳）: 線形マルコフ決定プロセス(MDP)フレームワークは、強力な理論的保証とサンプル効率を備えた強化学習(RL)の基礎を提供する。 しかし、その制限的な仮定は、遷移力学と報酬関数は同じ特徴空間において線型であり、実世界の領域で適用可能であり、報酬はしばしば非線形あるいは離散的な構造を示す。 本稿では, 一般化線形モデル(GLM)を用いたリニアMDPフレームワークの拡張として, 一般化線形モデル(GLMD)を用いたリニアMDPフレームワークを提案する。 我々は、非線形報酬を許容する新しい関数クラスに関して、GLMDPのベルマン完全性を確立し、2つのオフラインRLアルゴリズムを開発する: 一般化悲観的値イテレーション (GPEVI) と半教師付き変種 (SS-GPEVI) である。 提案アルゴリズムは,政策準最適性に関する理論的保証を達成し,報酬ラベルが高価あるいは制限された設定におけるサンプル効率の向上を実証する。

関連論文リスト

• Robust Offline Reinforcement Learning with Linearly Structured $f$-Divergence Regularization [10.465789490644031]
  我々は、ロバストな正則化マルコフ決定プロセスのための新しいフレームワーク(d$-RRMDP)を提案する。 オフラインRL設定のために、ロバスト正規化悲観的値イテレーション(R2PVI)と呼ばれるアルゴリズム群を開発する。
  論文  参考訳（メタデータ） (2024-11-27T18:57:03Z)
• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Dynamic selection of p-norm in linear adaptive filtering via online kernel-based reinforcement learning [8.319127681936815]
  本研究は, 線形適応フィルタリングにおいて, 最適p-ノルムが外れ値と競合する問題に対して, 動的に選択する問題に対処する。 オンラインおよびデータ駆動型フレームワークはカーネルベース強化学習(KBRL)によって設計される
  論文  参考訳（メタデータ） (2022-10-20T14:49:39Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Solving Multistage Stochastic Linear Programming via Regularized Linear Decision Rules: An Application to Hydrothermal Dispatch Planning [77.34726150561087]
  AdaSO(Adaptive least absolute shrinkage and selection operator)に基づく線形決定規則(LDR)の新しい正規化手法を提案する。 実験により、MSLPを解くために古典的な非正規化LDRを使用する場合、過度に適合する脅威は無視できないことが示された。 LHDP問題に対しては、非正規化ベンチマークと比較して、提案したフレームワークの次の利点を強調した。
  論文  参考訳（メタデータ） (2021-10-07T02:36:14Z)
• Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity [50.38337893712897]
  線形性を仮定しないMDP上の構造条件であるEPW(Effective Planning Window)条件を導入する。 EPW条件は、この条件を満たすMDPを確実に解くアルゴリズムを提供することで、サンプル効率のよいRLを許容することを示した。 また, EPW のような条件の必要性も示し, わずかに非線形な単純な MDP を効率的にサンプリングできないことを示した。
  論文  参考訳（メタデータ） (2021-06-15T00:06:59Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。