論文の概要: Deep Pontryagin Learning for Continuous-Time Stochastic Control with Jumps

• arxiv url: http://arxiv.org/abs/2610.26718v1
• Date: Mon, 19 Oct 2026 16:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:47:18.327232
• Title: Deep Pontryagin Learning for Continuous-Time Stochastic Control with Jumps
• Title（参考訳）: ジャンプによる連続時間確率制御のためのディープポントリャーギン学習
• Abstract要約: 本研究では,ジャンプ拡散に自然に対応する高次元連続時間制御問題に対する学習フレームワークを開発する。 固定されたマルコフ制御では、時間を通して報酬をバックプロパゲートすることで、まずパスワイドなアジョイントラベルを計算します。 得られた射影随伴過程が離散時間ポントリャーギンの原理を満たすことを証明し、時間ステップがゼロになる傾向があるので収束する。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We develop a deep Pontryagin learning framework for high-dimensional continuous-time stochastic control problems that naturally accommodates jump-diffusions. In contrast to direct policy optimization, which repeatedly differentiates the objective through the entire time-discretized dynamics, our method separates adjoint learning from policy improvement by explicitly incorporating state-sensitivity information from the Pontryagin stochastic maximum principle. For a fixed Markov control, we first compute pathwise adjoint labels by backpropagating the reward through time along simulated state trajectories, and project these labels onto the Markov state through a supervised regression step. The control is then updated by enforcing the pointwise Hamiltonian stationarity condition. We prove that the resulting projected adjoint process satisfies a discrete-time Pontryagin principle and converges, as the time step tends to zero, to the solution of the corresponding continuous-time adjoint backward stochastic differential equation. Numerical experiments illustrate the accuracy, stability, and scalability of the approach.
• Abstract（参考訳）: 本研究では,ジャンプ拡散に自然に対応する高次元連続時間確率制御問題に対する深いポントリャーギン学習フレームワークを開発する。 直接的政策最適化とは対照的に,本手法では,ポントリャーギン確率的最大原理から状態感度情報を明示的に組み込むことで,随伴学習と政策改善を分離する。 固定されたマルコフ制御では、まず、シミュレーションされた状態軌跡に沿って報酬をバックプロパゲートし、これらのラベルを教師付き回帰ステップでマルコフ状態に投影する。 制御は、ポイントワイズハミルトンの定常条件を強制することによって更新される。 得られた射影随伴過程が離散時間ポントリャーギンの原理を満たすことを証明し、時間ステップが 0 になるにつれて、対応する連続時間随伴確率微分方程式の解に収束する。 数値実験では、アプローチの正確性、安定性、スケーラビリティが示されている。

関連論文リスト

• Deep Q-Learning on Hölder Spaces [0.5671339754416556]
  連続状態と動作を伴う連続時間制御におけるQ-ラーニングの演算子理論コアについて検討する。 ベルマンの更新により、有界な入力を異方正則クラスにマッピングし、状態変数を滑らかにするとともに、動作変数にリプシッツのみ依存することを示す。 結果として得られる理論は、ベルマンの目標正則性と連続制御における近似のレベルにおけるQ-ラーニング理論に直接貢献する。
  論文  参考訳（メタデータ） (2026-06-15T15:23:22Z)
• Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
  Referring-Aware Visuomotor Policy(ReV)について紹介する。 ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。 これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
  論文  参考訳（メタデータ） (2026-04-07T07:41:11Z)
• An Actor-Critic Framework for Continuous-Time Jump-Diffusion Controls with Normalizing Flows [10.996737071400004]
  時間的不均一なジャンプ拡散ダイナミクスによる連続的な時間制御は、金融と経済の中心である。 エントロピー規則化制御問題やジャンプを伴うゲームに対して,メッシュフリーな解法として機能するアクタ批判フレームワークを提案する。 本稿では,時間不均一な線形四元数制御,メルトンポートフォリオ最適化,マルチエージェントポートフォリオゲームについて検証する。
  論文  参考訳（メタデータ） (2026-04-07T03:49:08Z)
• Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences [51.56484100374058]
  凸最適化のための勾配降下(SGD)の停止規則について検討した。 我々は、投影されたSGDの重み付き平均準最適度に対して、任意の有意、データ依存の高信頼シーケンスを開発する。 これらは、厳格でタイムユニフォームなパフォーマンス保証と、有限時間$varepsilon$-optimality証明書である。
  論文  参考訳（メタデータ） (2025-12-15T09:26:45Z)
• Continuous Policy and Value Iteration for Stochastic Control Problems and Its Convergence [8.65436459753278]
  本稿では,制御問題の値関数と最適制御の近似をLangevin型力学を用いて同時に更新する連続ポリシー反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:20:21Z)
• On optimization of coherent and incoherent controls for two-level quantum systems [77.34726150561087]
  本稿では、閉かつオープンな2レベル量子系の制御問題について考察する。 閉系の力学は、コヒーレント制御を持つシュリンガー方程式によって支配される。 開系の力学はゴリーニ=コサコフスキー=スダルシャン=リンドブラッドのマスター方程式によって支配される。
  論文  参考訳（メタデータ） (2022-05-05T09:08:03Z)
• Linear convergence of a policy gradient method for finite horizon continuous time stochastic control problems [3.7971225066055765]
  本稿では,一般連続時空制御問題に対する確率収束勾配法を提案する。 アルゴリズムは制御点に線形に収束し、ステップごとのポリシーに対して安定であることを示す。
  論文  参考訳（メタデータ） (2022-03-22T14:17:53Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• On the Sample Complexity and Metastability of Heavy-tailed Policy Search in Continuous Control [47.71156648737803]
  強化学習(Reinforcement learning)は、システムダイナミクスモデルなしで、時間をかけてインセンティブを順次明らかにする、インタラクティブな意思決定のためのフレームワークである。 定義された連鎖を特徴付け、テールインデックスのレヴィプロセスに関連するポリシーがより広いピークに収まることを識別する。
  論文  参考訳（メタデータ） (2021-06-15T20:12:44Z)
• A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces [53.47210316424326]
  KeRNSは、非定常マルコフ決定過程におけるエピソード強化学習のためのアルゴリズムである。 我々は、状態-作用空間の被覆次元と時間とともにMDPの総変動にスケールする後悔境界を証明した。
  論文  参考訳（メタデータ） (2020-07-09T21:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。