論文の概要: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms

• arxiv url: http://arxiv.org/abs/2610.28580v1
• Date: Tue, 20 Oct 2026 17:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.951811
• Title: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
• Title（参考訳）: 離散データからの連続時間ポリシー:収束解析とモデルフリーアルゴリズム
• Abstract要約: 連続時間強化学習は、微分方程式によって駆動される未知の力学の下で最適な政策を求める。 我々は厳密な収束分析と離散データからの勾配学習を組み合わせた政策勾配フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 14.162273048288116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous-time reinforcement learning seeks an optimal policy under unknown dynamics driven by stochastic differential equations using observations collected at discrete times. We develop a policy gradient framework that combines rigorous convergence analysis with learning from discrete data. We first establish a performance difference lemma and derive policy gradient formulas for randomized and parametrized policies. We then prove exponential convergence of an entropy-regularized policy flow to the regularized optimum. For discrete parametrized updates, we derive a convergence bound that explicitly separates the contributions of critic error, policy-regression error, and the learning step size. To enable learning under unknown dynamics, we integrate this framework with PhiBE, which constructs a continuous-time surrogate generator from discrete transition data. The resulting on-policy and off-policy model-free actor-critic algorithms preserve the continuous-time structure of the control problem. Numerical experiments on an entropy-regularized linear-quadratic regulator and a nonlinear wheeled robot demonstrate the performance and stability of the proposed methods with both known and data-driven dynamics.
• Abstract（参考訳）: 連続時間強化学習は、離散時間で収集された観測を用いて確率微分方程式によって駆動される未知の力学の下で最適なポリシーを求める。 我々は厳密な収束分析と離散データからの学習を組み合わせた政策勾配フレームワークを開発する。 まず、性能差補題を確立し、ランダム化およびパラメトリズドされたポリシーに対してポリシー勾配式を導出する。 次に、エントロピー規則化されたポリシーフローの指数収束を正則化された最適値に証明する。 離散的なパラメタライズされた更新のために、批判エラー、ポリシー-回帰エラー、学習ステップサイズの貢献を明示的に分離する収束境界を導出する。 未知のダイナミクス下での学習を可能にするため,このフレームワークをPhiBEと統合し,離散的な遷移データから連続時間サロゲート生成器を構築する。 その結果、オン・ポリティクスとオフ・ポリティクスのモデルなしアクター批判アルゴリズムは、制御問題の連続的な構造を保っている。 エントロピー規則化線形四面体レギュレータと非線形車輪付きロボットの数値実験により、提案手法の性能と安定性を既知の力学とデータ駆動力学の両方で実証した。

関連論文リスト

• Operator Models for Continuous-Time Offline Reinforcement Learning [4.808981008878068]
  環境との直接の相互作用は、しばしば安全でないか非現実的であり、歴史的データからオフラインの強化学習を動機付けている。 ハミルトン・ヤコビ・ベルマン方程式に強化学習をリンクし、演算子理論のアルゴリズムを提案することでこの問題に対処する。 具体的には、再生カーネルヒルベルト空間で学習した制御拡散過程の無限小生成という観点から世界モデルを表現している。
  論文  参考訳（メタデータ） (2025-11-13T14:58:30Z)
• Sublinear Regret for a Class of Continuous-Time Linear-Quadratic Reinforcement Learning Problems [10.404992912881601]
  拡散に対する連続時間線形四元数(LQ)制御のクラスに対する強化学習(RL)について検討した。 モデルパラメータの知識にも,その推定にも依存しないモデルフリーアプローチを適用し,RLアルゴリズムを設計して,適切なポリシパラメータを直接学習する。
  論文  参考訳（メタデータ） (2024-07-24T12:26:21Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Stochastic Nonlinear Control via Finite-dimensional Spectral Dynamic Embedding [20.43835169613882]
  本稿では,非線形系の最適制御のためのスペクトルダイナミクス埋め込み制御(SDEC)を提案する。 これはシステムの非線形力学によって誘導される無限次元の特徴表現を明らかにし、状態-作用値関数の線形表現を可能にする。 実用的な実装では、この表現は有限次元のトランケーションを用いて近似される。
  論文  参考訳（メタデータ） (2023-04-08T04:23:46Z)
• Neural ODEs as Feedback Policies for Nonlinear Optimal Control [1.8514606155611764]
  ニューラルネットワークをパラメータ化した微分方程式として連続時間力学をモデル化するために、ニューラル常微分方程式(ニューラルODE)を用いる。 本稿では,一般非線形最適制御問題の解法としてニューラル・オードとして提案するニューラル・コントロール・ポリシーを提案する。
  論文  参考訳（メタデータ） (2022-10-20T13:19:26Z)
• Optimal scheduling of entropy regulariser for continuous-time linear-quadratic reinforcement learning [9.779769486156631]
  ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。 この探索-探索トレードオフはエントロピー正則化の強さによって決定される。 どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
  論文  参考訳（メタデータ） (2022-08-08T23:36:40Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Value Iteration in Continuous Actions, States and Time [99.00362538261972]
  連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。 非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。 物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
  論文  参考訳（メタデータ） (2021-05-10T21:40:56Z)
• The Connection between Discrete- and Continuous-Time Descriptions of Gaussian Continuous Processes [60.35125735474386]
  我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。 この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
  論文  参考訳（メタデータ） (2021-01-16T17:11:02Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。