論文の概要: Structural Estimation of Markov Decision Processes in High-Dimensional State Space with Finite-Time Guarantees

• arxiv url: http://arxiv.org/abs/2210.01282v3
• Date: Fri, 1 Mar 2024 18:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 21:23:55.207067
• Title: Structural Estimation of Markov Decision Processes in High-Dimensional State Space with Finite-Time Guarantees
• Title（参考訳）: 有限時間保証付き高次元状態空間におけるマルコフ決定過程の構造推定
• Authors: Siliang Zeng, Mingyi Hong, Alfredo Garcia
• Abstract要約: 本研究では,実施行動と訪問状態の観測可能な履歴に基づいて,人間エージェントによる動的決定の構造モデルの推定作業を検討する。 この問題には固有のネスト構造があり、内部問題では与えられた報酬関数に対する最適ポリシーが特定され、外部問題では適合度の測定が最大化される。 本研究では,高次元状態空間を扱うための有限時間保証付き単一ループ推定アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 39.287388288477096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the task of estimating a structural model of dynamic decisions by a human agent based upon the observable history of implemented actions and visited states. This problem has an inherent nested structure: in the inner problem, an optimal policy for a given reward function is identified while in the outer problem, a measure of fit is maximized. Several approaches have been proposed to alleviate the computational burden of this nested-loop structure, but these methods still suffer from high complexity when the state space is either discrete with large cardinality or continuous in high dimensions. Other approaches in the inverse reinforcement learning (IRL) literature emphasize policy estimation at the expense of reduced reward estimation accuracy. In this paper we propose a single-loop estimation algorithm with finite time guarantees that is equipped to deal with high-dimensional state spaces without compromising reward estimation accuracy. In the proposed algorithm, each policy improvement step is followed by a stochastic gradient step for likelihood maximization. We show that the proposed algorithm converges to a stationary solution with a finite-time guarantee. Further, if the reward is parameterized linearly, we show that the algorithm approximates the maximum likelihood estimator sublinearly. Finally, by using robotics control problems in MuJoCo and their transfer settings, we show that the proposed algorithm achieves superior performance compared with other IRL and imitation learning benchmarks.
• Abstract（参考訳）: 本研究では,実施行動と訪問状態の観測可能な履歴に基づいて,人間エージェントによる動的決定の構造モデルの推定作業を検討する。 この問題には固有のネスト構造があり、内部問題では与えられた報酬関数に対する最適ポリシーが特定され、外部問題では適合度の測定が最大化される。 このネストループ構造の計算負担を軽減するためにいくつかの手法が提案されているが、状態空間が大きな濃度で離散的である場合や高次元で連続している場合、これらの手法は依然として高い複雑さに悩まされている。 逆強化学習(IRL)文学における他のアプローチは、報酬推定精度の低下を犠牲にして政策推定を強調する。 本稿では,報酬推定精度を損なうことなく,高次元状態空間を扱うことができる有限時間保証付き単一ループ推定アルゴリズムを提案する。 提案アルゴリズムでは,各ポリシー改善ステップを確率的勾配ステップで追従し,最大化を行う。 提案アルゴリズムは有限時間保証付き定常解に収束することを示す。 さらに, 報酬が線形にパラメータ化される場合, アルゴリズムは極大推定器を線形に近似することを示す。 最後に、MuJoCoにおけるロボット制御問題とその転送設定を用いて、提案アルゴリズムが他のIRLや模倣学習ベンチマークと比較して優れた性能を達成することを示す。

関連論文リスト

• Deterministic Trajectory Optimization through Probabilistic Optimal Control [3.2771631221674333]
  離散時間決定論的有限水平非線形最適制御問題に対する2つの新しいアルゴリズムを提案する。 どちらのアルゴリズムも確率論的最適制御として知られる新しい理論パラダイムにインスパイアされている。 このアルゴリズムの適用により、決定論的最適ポリシーに収束する確率的ポリシーの定点が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-18T09:17:47Z)
• Regularized Q-Learning with Linear Function Approximation [2.765106384328772]
  線形汎関数近似を用いた正規化Q-ラーニングの2段階最適化について検討する。 特定の仮定の下では、提案アルゴリズムはマルコフ雑音の存在下で定常点に収束することを示す。
  論文  参考訳（メタデータ） (2024-01-26T20:45:40Z)
• A Stochastic-Gradient-based Interior-Point Algorithm for Solving Smooth Bound-Constrained Optimization Problems [12.29270365918848]
  提案アルゴリズムは、他のインテリアポイント法からの主観的特異な制約に基づいている。 提案アルゴリズムは,プロジェクション,ステップサイズ,シーケンスシーケンスのバランスを慎重に保ち,数値的および決定論的両方の設定において収束を保証する。
  論文  参考訳（メタデータ） (2023-04-28T15:30:43Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• An Efficient Algorithm for Deep Stochastic Contextual Bandits [10.298368632706817]
  コンテキスト境界の問題では、エージェントは特定の観察されたコンテキストに基づいてアクションを選択し、反復よりも報酬を最大化します。 近年、ディープニューラルネットワーク(DNN)を用いて行動に対する期待される報酬を予測する研究がいくつか行われ、勾配に基づく手法で訓練されている。
  論文  参考訳（メタデータ） (2021-04-12T16:34:43Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
  一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。 我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2020-05-04T10:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。