論文の概要: Reinforcement learning for constrained stochastic linear--quadratic control in continuous time

• arxiv url: http://arxiv.org/abs/2610.34995v1
• Date: Mon, 26 Oct 2026 08:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.791674
• Title: Reinforcement learning for constrained stochastic linear--quadratic control in continuous time
• Title（参考訳）: 連続時間における制約付き確率線形2次制御のための強化学習
• Abstract要約: 本研究では,スカラー状態と非負の制御制約を持つ連続時間線形二乗制御について検討する。 未知の力学に対して、有限な地平線と無限な地平線に対するモデル自由アクター批判スキームを開発する。
• 参考スコア（独自算出の注目度）: 7.122515520796035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study continuous-time stochastic linear--quadratic control with a scalar state and nonnegative control constraints. With quadratic running costs, randomized exploration can change the optimal mean feedback. We introduce an auxiliary problem without entropy in which the conditional policy mean is nonnegative and the covariance is prescribed in proportion to the squared state. Moment reduction and state separation yield two regional Riccati equations and characterize the finite-horizon value function and optimal conditional mean. We give a sufficient control--cost compatibility condition under which this mean coincides with the optimal feedback of the original constrained problem. For time-invariant coefficients, we characterize the undiscounted infinite-horizon optimum and establish mean square asymptotic stability under the stated assumptions. For unknown dynamics, we develop model-free actor--critic schemes for finite and infinite horizons. Numerical experiments compare the learned policies with their analytical targets and examine the effect of exploration on the optimal mean.
• Abstract（参考訳）: 本研究では,スカラー状態と非負の制御制約を有する連続時間確率線形2次制御について検討する。 二次的な実行コストによって、ランダム化された探索は最適な平均フィードバックを変えることができる。 条件付きポリシ平均が非負であり、共分散が二乗状態に比例して規定されるエントロピーのない補助問題を導入する。 モーメントの減少と状態分離は2つの局所リカティ方程式を生み出し、有限水平値関数と最適条件平均を特徴づける。 この平均値が元の制約問題に対する最適フィードバックと一致するような十分な制御コスト互換性条件を与える。 時間不変係数に対しては、未計算の無限水平最適度を特徴づけ、その仮定の下で平均二乗漸近安定性を確立する。 未知の力学に対して、有限および無限の地平線に対するモデル自由アクター批判スキームを開発する。 数値解析実験では, 学習方針と分析目標を比較し, 探索が最適平均に与える影響について検討した。

関連論文リスト

• Explicit Bounds on Hoffman Constants for Sparse Polyhedral Regularizers [0.764671395172401]
  スパース正規化で生じる構造化多面体系のクラスに対するホフマン定数の明示的境界を導出する。 これらの定数はスペクトル,幾何,相互作用成分の分解を許容し,それらのスケーリング挙動を決定する。 我々の理論的結果は、ホフマン定数が構造化回帰設定において明示的で解釈可能な形式を認めることを示している。
  論文  参考訳（メタデータ） (2026-10-11T00:22:58Z)
• Finite-Sample Approximation of Hessian-Guided Perturbed Wasserstein Gradient Flows [52.91692927889604]
  累積曲率の明示的条件を満たす基準経路に対する高確率事象に対する目標値追跡境界を証明した。 また、分散余剰コサインモデル回復の条件を検証した結果、確率の増大が保証される。
  論文  参考訳（メタデータ） (2026-10-07T15:13:56Z)
• The Road Taken: The Role of Optimizers at the Edge of Stability [53.81268610971847]
  安定性のエッジ(Edge of stability)とは、古典的な降下が不安定であると予測されるしきい値より上のヘッセンの固有値が安定である深層学習における現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 我々は、勾配降下を含む多くの一階法が、これらの理論によって予測される安定性を21.1ドルという大きな因子で著しく破っていることを観察した。
  論文  参考訳（メタデータ） (2026-08-19T01:03:34Z)
• Quadratic Objective Perturbation: Curvature-Based Differential Privacy [0.14323566945483496]
  擬似目的摂動(QOP)を導入し、ランダムな二次形式で目的を摂動する。 この摂動は強い凸性をもたらし、曲率によって問題の安定性を強制する。 この分析を近似解に拡張し、不正確な解決の下でプライバシ保証が保存されていることを示す。
  論文  参考訳（メタデータ） (2026-05-07T09:16:53Z)
• Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values [11.174902793218834]
  非矩形ロバストマルコフ決定過程を平均逆基準下で研究する。 あいまいさの集合に対して一様に、サブリニアな後悔を達成できる歴史に依存した政策が、頑健な最適化であることを示す。
  論文  参考訳（メタデータ） (2026-03-01T06:29:34Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
  教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。 我々は、ある政策の境界を推定するアプローチを開発する。 より凝縮したデータを集めることで、シャープな境界への収束を証明します。
  論文  参考訳（メタデータ） (2020-02-11T16:18:14Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。