論文の概要: Learning to Control Coupled-Dynamics Environments with Joint Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2608.22765v1
• Date: Mon, 24 Aug 2026 03:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.881159
• Title: Learning to Control Coupled-Dynamics Environments with Joint Markov Decision Processes
• Title（参考訳）: 共同マルコフ決定過程を用いた結合力学環境の学習
• Abstract要約: 共同マルコフ決定過程(JMDP)は、反実的な結果に対する依存を保っている。 誘導された辺縁 MDP が一意の最適ポリシーを持つとき、その反復はワッサーシュタイン距離と最適結合戻り則に収束することを示す。 最初の2つの瞬間において、結合分解能が第2モーメントの固定点を共有する限り、いくつかの平均最適作用を許容する弱い条件の下で収束を確立する。
• 参考スコア（独自算出の注目度）: 12.503046388223233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coupled-dynamics environments expose the one-step outcomes that would follow from several possible counterfactual actions under a common realization of exogenous randomness. The ordinary Markov decision process formalism allows one to reason about the marginal law of each action but discards dependence across these counterfactual outcomes. The Joint Markov decision process (JMDP) formalism preserves that dependence. Prior work established the formalism and solved the fixed-policy joint moment evaluation problem in JMDPs. This paper develops optimal-control methods. We define a nonparametric distributional Bellman optimality operator for JMDPs, and prove that when the induced marginal MDP has a unique optimal policy, its iterates converge in Wasserstein distance to the optimal joint return law. For the first two moments, we establish convergence under a weaker condition that permits several mean-optimal actions as long as their tie resolutions share a second-moment fixed point. We also derive sampled targets for neural approximation.
• Abstract（参考訳）: 結合力学環境は、外因性ランダム性(exogenous randomness)の共通実現の下で、いくつかの考えられる反事実的行動から続く一段階の結果を明らかにする。 通常のマルコフ決定過程の定式化は、各行動の限界法則を推論するが、これらの反現実的な結果への依存を捨てる。 共同マルコフ決定プロセス(JMDP)は、その依存を保存している。 それまでの作業は形式主義を確立し、JMDPの固定政治共同モーメント評価問題を解決した。 本稿では,最適制御法を開発する。 我々は、JMDP に対する非パラメトリック分布ベルマン最適作用素を定義し、誘導限界 MDP が一意な最適ポリシーを持つとき、その反復がワッサーシュタイン距離と最適結合戻り則に収束することを証明した。 最初の2つの瞬間において、結合分解能が第2モーメントの固定点を共有する限り、いくつかの平均最適作用を許容する弱い条件の下で収束を確立する。 神経近似のためのサンプルターゲットも導出する。

関連論文リスト

• Joint MDPs and Reinforcement Learning in Coupled-Dynamics Environments [13.342794291622562]
  本研究では,多行動生成インタフェースを用いた結合力学について検討した。 我々は、要求された状態における即時的な反実的な結果に、アクション間の依存が限定される一段階のカップリング体制を採用し、形式化する。
  論文  参考訳（メタデータ） (2026-03-06T23:38:37Z)
• Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies [3.5253513747455303]
  独立政策勾配アルゴリズムは、協調型・非競合型ゲームにおけるマルチエージェント強化学習(MARL)に広く用いられている。 これらは、各エージェントのポリシー勾配が準最適均衡に向かっているときに、亜最適収束することが知られている。 共同サンプリング誤差を低減するための適応的な動作サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-01T20:07:25Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究である。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• First-order Policy Optimization for Robust Markov Decision Process [40.2022466644885]
  我々はロバストマルコフ決定過程(MDP)の解法を考える。 MDPは、不確実な遷移カーネルを持つ割引状態、有限状態、有限作用空間 MDP の集合を含む。 $(mathbfs,mathbfa)$-矩形不確かさ集合に対して、ロバストな目的に関するいくつかの構造的な観察を確立する。
  論文  参考訳（メタデータ） (2022-09-21T18:10:28Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
  ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。 最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。 本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
  論文  参考訳（メタデータ） (2022-05-28T04:05:20Z)
• Stochastic first-order methods for average-reward Markov decision processes [10.023632561462712]
  平均回帰マルコフ決定過程(AMDP)について検討し,政策最適化と政策評価の両面において理論的確証が強い新しい一階法を開発した。 政策評価と政策最適化の部分を組み合わせることで、生成的およびマルコフ的ノイズモデルの両方の下で、AMDPを解くためのサンプル複雑性結果を確立する。
  論文  参考訳（メタデータ） (2022-05-11T23:02:46Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes [0.0]
  システム力学と測定チャネルモデルが知られていると仮定したPOMDPの計画問題について検討する。 軽度非線形フィルタ安定性条件下で近似的信念モデルに対する最適ポリシーを求める。 また、有限ウィンドウメモリサイズと近似誤差境界を関連づけた収束結果のレートを確立する。
  論文  参考訳（メタデータ） (2020-10-15T00:37:51Z)
• Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance [3.062772835338966]
  本稿では,長期平均値を持つ無限段階離散時間マルコフ決定過程(MDP)の最適化問題について検討する。 性能差式が導出され、任意の2つの異なるポリシーの下で、MPPの平均分散結合メトリクスの差を定量化することができる。 最適政策の必要条件と決定論的政策の最適性が導出される。
  論文  参考訳（メタデータ） (2020-08-09T10:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。