論文の概要: Boundary-aware Reinforcement Learning for Hypercube State Spaces via Deterministic Policy Gradient

• arxiv url: http://arxiv.org/abs/2610.09712v1
• Date: Wed, 07 Oct 2026 09:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.818773
• Title: Boundary-aware Reinforcement Learning for Hypercube State Spaces via Deterministic Policy Gradient
• Title（参考訳）: 決定論的政策勾配によるハイパーキューブ状態空間の境界認識強化学習
• Abstract要約: 我々は、リフレクションダイナミクスを用いた強化学習のための連続時間決定論的政策勾配フレームワークを開発する。 本研究では,境界認識手法がノイマン境界残差を大幅に低減し,学習安定性を向上させることを示す。
• 参考スコア（独自算出の注目度）: 2.838891711119927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a continuous-time deterministic policy gradient framework for reinforcement learning with reflected state dynamics, where the state process is governed by a controlled reflected stochastic differential equation on a hypercube. Under suitable regularity assumptions, we establish the connection between the value function and the Neumann Bellman equation, introduce an advantage-rate function that yields a deterministic policy gradient formula, and prove the martingale characterization theorem. Motivated by these theoretical results, we propose a continuous-time deep deterministic policy gradient algorithm for reflected stochastic systems, in which the Neumann boundary condition is imposed via either soft penalization or hard architectural constraint. We further quantify the discrepancy between the ideal continuous-time dynamics and the discretely sampled exploratory dynamics executed in practice, showing that the error decays as the time grid is refined and exploration noise vanishes. Our experiments on reservoir control problems illustrate the effectiveness of the RL framework, highlighting that boundary-aware methods substantially reduce Neumann boundary residuals and enhance learning stability.
• Abstract（参考訳）: 我々は、状態過程をハイパーキューブ上の制御された反射確率微分方程式によって制御する、状態ダイナミクスを用いた強化学習のための連続時間決定論的ポリシー勾配フレームワークを開発する。 適切な正則性仮定の下では、値関数とノイマンベルマン方程式の接続を確立し、決定論的ポリシー勾配式を導出する有利度関数を導入し、マルティンゲール特徴づけ定理を証明する。 これらの理論結果から, ニューマン境界条件をソフトペナリゼーションあるいはハードアーキテクチャ制約によって課す, 反射確率系に対する連続時間深部決定論的ポリシー勾配アルゴリズムを提案する。 さらに、理想的な連続時間力学と実際に実行される離散サンプリング探索力学との差を定量化し、時間格子が洗練され、探索ノイズが消滅することを示す。 貯水池制御問題に対する実験は, 境界認識手法がノイマン境界残差を大幅に低減し, 学習安定性を向上することを示す。

関連論文リスト

• Actor-Critic Learning for Extended Mean Field Control with Deterministic Policies [11.230955775247997]
  本稿では,連続時間拡張平均場制御問題に対するモデルフリー強化学習フレームワークを開発した。 我々は、国家法を推し進めるために、国家の行動分布を直接誘導する決定論的フィードバックポリシーを採用する。 Cucker-Smaleコンセンサス制御と貿易クラウドによる最適清算実験は,提案手法の効率,安定性,堅牢性を示す。
  論文  参考訳（メタデータ） (2026-07-13T02:10:07Z)
• Latent-Variable Learning of SPDEs via Wiener Chaos [2.0901018134712297]
  線形偏微分方程式(SPDE)の法則を観測から加法的ガウス強制で学習する問題について検討する。 提案手法はスペクトルガレルキン射影と乱れたウィナーカオス展開を組み合わせ、進化と強制領域を分離する。 これにより、無限次元決定論的SPDEは、潜時時間力学を管理するパラメタライズされた常微分方程式の有限系に還元される。
  論文  参考訳（メタデータ） (2026-02-12T10:19:43Z)
• Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime [4.297070083645049]
  継続的モデルは、ディープラーニングにおける最適化アルゴリズムのトレーニングダイナミクスに関する洞察を提供する。 我々は勾配ランゲヴィンダイナミクス(SGLD)の非漸近収束解析を確立する。 損失関数のヘシアン上の規則性条件下では、乗法および状態依存雑音を持つSGLDは、高い確率でトレーニング過程を通して非退化核を生成することを示す。
  論文  参考訳（メタデータ） (2025-10-24T08:28:53Z)
• Bridging Discrete and Continuous RL: Stable Deterministic Policy Gradient with Martingale Characterization [12.269012358096667]
  離散時間アルゴリズムを連続時間設定に拡張する際の大きな課題は、時間離散化に対する感度である。 連続時間強化学習のための決定論的政策勾配法を提案する。 提案アルゴリズムは,従来の離散時間法や連続時間法と比較して,安定性と収束性を向上する。
  論文  参考訳（メタデータ） (2025-09-28T07:53:33Z)
• On the Effect of Instability on Learning Continuous-Time Linear Control Systems [0.0]
  有限長状態軌跡に基づく連続時間力学におけるシステム同定の問題について検討する。 適切なランダム化制御入力を用いて不安定なオープンループ行列を推定する手法を提案する。 我々は,推定誤差が軌道長,励起率,信号対雑音比で減衰することを示す理論的性能保証を確立する。
  論文  参考訳（メタデータ） (2024-09-17T16:24:51Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Stochastic Nonlinear Control via Finite-dimensional Spectral Dynamic Embedding [20.43835169613882]
  本稿では,非線形系の最適制御のためのスペクトルダイナミクス埋め込み制御(SDEC)を提案する。 これはシステムの非線形力学によって誘導される無限次元の特徴表現を明らかにし、状態-作用値関数の線形表現を可能にする。 実用的な実装では、この表現は有限次元のトランケーションを用いて近似される。
  論文  参考訳（メタデータ） (2023-04-08T04:23:46Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。