論文の概要: Decision-Focused Learning in MDPs: An Occupancy Measure Approach

• arxiv url: http://arxiv.org/abs/2610.08384v1
• Date: Tue, 06 Oct 2026 14:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.020328
• Title: Decision-Focused Learning in MDPs: An Occupancy Measure Approach
• Title（参考訳）: MDPにおける意思決定型学習 : 職業性尺度によるアプローチ
• Abstract要約: 既存の手法がベルマン方程式のKKT条件によって区別されるマルコフ決定過程(MDP)に対する決定中心の学習を検討する。 我々は、MDPを占有度に基づく線形プログラム(LP)として再構成することで、この問題に対処する。 我々は、ピボットアルゴリズムを用いて、実現可能なポリヘドロンの活性制約を同定することにより、閉形式勾配を導出する。
• 参考スコア（独自算出の注目度）: 3.8000229322526473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we consider decision-focused learning (DFL) for a Markov decision process (MDP), where existing methods differentiate through the KKT conditions of the Bellman equation and require solving a linear system over all state-action pairs, limiting its scalability. We address this by reformulating the MDP as an occupancy measure-based linear program (LP), whose feasible region is induced by predicted dynamics, and we derive a closed-form gradient by identifying the active constraints in the feasible polyhedron via the pivoting algorithm. This occupancy measure-based LP layer raises two challenges: (1) LP's solution gradient is discontinuous when active constraints change, and (2) the LP backward cost still scales with the state size, which is costly for large or continuous state spaces. We address the challenges with an augmented Lagrangian surrogate and smooth the boundary jumps by random row sketching of the constraints, and a learnable soft state-aggregation layer and its function-approximation generalization that scales the LP to large finite and continuous-state MDPs. Across multiple tasks, our methods reach lower regret than KKT-based DFL and two-stage baselines with significantly lower computation cost. The source code for all experiments is available at https://github.com/A-Eshragh/State_Aggregation_Project.
• Abstract（参考訳）: 本研究では,既存の手法がベルマン方程式のKKT条件によって区別されるマルコフ決定過程(MDP)に対する決定中心学習(DFL)を考える。 そこで我々は, MDP を, 予測力学により実現可能な領域が誘導される占有測度に基づく線形プログラム (LP) として再構成し, ピボットアルゴリズムを用いて, 実現可能なポリヘドロンの活性制約を同定することにより, 閉形式勾配を導出する。 この占有度測定に基づくLP層は, (1) LPの解勾配は, アクティブな制約が変化しても不連続であり, (2) LPの後方のコストは, 大規模あるいは連続的な状態空間においてコストがかかる状態サイズに比例する。 本研究では,拡張ラグランジアンサロゲートと,制約のランダムな行スケッチによる境界ジャンプの円滑化,およびLPを有限かつ連続的なMDPに拡張する学習可能なソフトな状態集合層とその関数近似一般化による課題に対処する。 複数のタスクにまたがって、我々の手法はKKTベースのDFLや2段階のベースラインに比べて、計算コストが大幅に削減される。 すべての実験のソースコードはhttps://github.com/A-Eshragh/State_Aggregation_Projectで公開されている。

関連論文リスト

• Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection [0.0]
  混合整数線形プログラム(MILP)は、そのような制約を柔軟に扱えるが、環境ではスケールが不十分である。 ポリシー内に微分可能な凸最適化モジュールを埋め込むことで、このギャップを埋める。 実現可能性の強制は、正確な整数射影に対して誤差が有界であることを示し、実現可能な作用空間全体が到達可能であることを保証する。
  論文  参考訳（メタデータ） (2026-08-03T14:57:21Z)
• Weakly Time-Coupled Approximation of Markov Decision Processes [3.573962752571186]
  有限水平マルコフ決定プロセス(MDPs)は、ベルムダンのバリュエーションやエクササイズ、リアルオプションなど、運用と金融に発生する。 共通近似は基底関数を用いた値関数を表すが、重み付け方法は異なる段階最適化を扱う。 この結合は近似アーキテクチャのアーチファクトであり、段差依存が地平線に依存しない弱時間結合近似(WTCA)を開発する。
  論文  参考訳（メタデータ） (2026-03-13T04:14:42Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Horizon-Free Regret for Linear Markov Decision Processes [92.02082223856479]
  最近の一連の研究は、強化学習における残念な境界が(ほぼ)計画的地平から独立していることを示している。 我々は、人気のある線形マルコフ決定過程(MDP)設定に対して、最初の地平面自由境界を与える。 遷移モデルを明示的に推定し、不均一な値関数を計算する先行研究とは対照的に、直接値関数と信頼集合を推定する。
  論文  参考訳（メタデータ） (2024-03-15T23:50:58Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• STRIDE along Spectrahedral Vertices for Solving Large-Scale Rank-One Semidefinite Relaxations [27.353023427198806]
  我々は、制約のない最適化問題(POP)の高次半定値プログラミング緩和を考察する。 POPから独立してSDPを解く既存のアプローチは、そのようなSDPの典型的な非エネルギー性のため、大きな問題にスケールできないか、あるいは緩やかな収束に苦しむことができない。 我々は SpecTrahedral vErtices (STRIDE) と呼ばれる新しいアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T18:07:16Z)
• A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
  深層強化学習のための線形プログラミング(LP)の定式化について検討する。 拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。 深層パラメタライズされたラグランジアン法を提案する。
  論文  参考訳（メタデータ） (2021-05-20T13:08:06Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。