論文の概要: Dissimilarity-Based Markov Decision Processes for Stabilizing State Distributions

• arxiv url: http://arxiv.org/abs/2610.29024v1
• Date: Wed, 21 Oct 2026 00:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.167799
• Title: Dissimilarity-Based Markov Decision Processes for Stabilizing State Distributions
• Title（参考訳）: 相似性に基づく状態分布安定化のためのマルコフ決定過程
• Abstract要約: 本稿では,状態分布を安定化させる学習政策の理論的枠組みを開発する。 実践的な実装では、分布推定と目標依存報酬をPPOおよびSACと組み合わせる。
• 参考スコア（独自算出の注目度）: 11.998107892105942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning for stochastic systems typically optimizes expected cumulative rewards, while reliable and repeatable behavior also depends on how the state distribution evolves over time. Optimizing expected return alone does not guarantee that this distribution converges to a desired target or remains stable. This paper develops a theoretical framework for learning policies that stabilize state distributions. We formulate the problem as a Dissimilarity-based Markov Decision Process (DMDP), in which the policy acts on the current state distribution and the objective measures its dissimilarity to a target distribution. We establish sufficient conditions under which the optimal policy makes the target distribution asymptotically stable. To support policy learning, we introduce a finite-dimensional representation of distributions and show how stability guarantees for its parameter dynamics extend to the underlying state distributions. We further develop certificates for the learned policies, including their deployment using estimated distribution parameters. These results quantify how learning and estimation errors affect the guarantees and identify conditions under which learned policies retain asymptotic stability. For practical implementation, we combine distribution estimates and target-dependent rewards with PPO and SAC. A computable example on a linear system illustrates the proposed theoretical certificates. Furthermore, experiments on a HalfCheetah task demonstrate the benefits of distribution feedback and explicit target matching for regulating the velocity distribution.
• Abstract（参考訳）: 確率システムの強化学習は、一般的に期待される累積報酬を最適化するが、信頼性と繰り返し可能な振る舞いは、時間とともに状態分布がどのように進化するかにも依存する。 期待されるリターンのみを最適化することは、この分布が望ましい目標に収束するか、安定し続けることを保証しない。 本稿では,状態分布を安定化させる学習政策の理論的枠組みを開発する。 本稿では,政策が現在の状態分布に作用し,目的が目標分布と相似性を測定する,異種性に基づくマルコフ決定プロセス(DMDP)として問題を定式化する。 最適政策が目標分布を漸近的に安定させる十分な条件を確立する。 政策学習を支援するために,分布の有限次元表現を導入し,パラメータの安定性が基礎となる状態分布にどのように拡張されるかを示す。 さらに、推定分布パラメータを用いたデプロイメントを含む、学習したポリシーの証明書も開発する。 これらの結果は、学習と推定の誤りが保証にどのように影響するかを定量化し、学習方針が漸近安定性を維持する条件を特定する。 実践的な実装では、分布推定と目標依存報酬をPPOおよびSACと組み合わせる。 線形システムの計算可能な例は、提案された理論証明を示している。 さらに、HalfCheetahタスクの実験では、速度分布を制御するために、分布フィードバックと明示的なターゲットマッチングの利点が示される。

関連論文リスト

• Conformal Prediction Beyond the Horizon: Distribution-Free Inference for Policy Evaluation [14.811119246685534]
  本研究では,無限水平政策評価のための統一型コンフォメーション予測フレームワークを提案する。 本手法は,分布RLと共形キャリブレーション,観測されないリターン,時間依存性,分布シフトといった課題に対処する。
  論文  参考訳（メタデータ） (2025-10-29T23:45:44Z)
• Doubly-Robust Estimation of Counterfactual Policy Mean Embeddings [23.3862001690226]
  反ファクトポリシーの下での成果の分配を推定することは、推薦、広告、医療といった領域における意思決定にとって重要である。 再生カーネル空間(RKHS)における反事実分布全体を表す新しいフレームワーク-Counterfactual Policy Mean Embedding(CPME)を提案する。 プラグイン推定器と2倍頑健な推定器の両方を導入し、後者は結果埋め込みモデルと確率モデルの両方においてバイアスを補正することで収束率の向上を享受する。
  論文  参考訳（メタデータ） (2025-06-03T12:16:46Z)
• Towards Optimal Offline Reinforcement Learning [9.13232872223434]
  本研究では,長期平均報酬目標を用いたオフライン強化学習問題について検討する。 任意の固定的な行動ポリシーによって生成される状態-作用対はマルコフ連鎖に従う。 我々は、この大きな偏差原理の速度関数を用いて、未知の状態-作用-次の状態分布に対する不確実性集合を構築する。
  論文  参考訳（メタデータ） (2025-03-15T22:41:55Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• A Distributional Analogue to the Successor Representation [54.99439648059807]
  本稿では,分散強化学習のための新しい手法を提案する。 学習プロセスにおける遷移構造と報酬のクリーンな分離を解明する。 実例として,ゼロショットリスクに敏感な政策評価が可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T15:35:24Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。