論文の概要: Learning to Solve Stochastic Controls with Unknown Drifts and Running Rewards: Theory, Algorithms and Convergence

• arxiv url: http://arxiv.org/abs/2609.14972v1
• Date: Mon, 14 Sep 2026 03:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.043349
• Title: Learning to Solve Stochastic Controls with Unknown Drifts and Running Rewards: Theory, Algorithms and Convergence
• Title（参考訳）: 未知のドリフトとランニングリワードによる確率制御の解法:理論,アルゴリズム,収束
• Abstract要約: 本研究では,ドリフト係数とランニング報酬関数が未知な連続時間および高次元制御問題について検討する。 我々は、最適値関数と探索フィードバック制御ポリシの両方を学習するために、理論的に基礎を置き、効率的でスケーラブルなRLアルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 18.154679200097117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study continuous-time and possibly high-dimensional stochastic control problems where drift coefficients and running reward functions are unknown. Due to these missing model primitives, we take the exploratory, reinforcement learning (RL) framework of Wang, Zariphopoulou, and Zhou(2020) with relaxed controls and entropy regularization. The objective is to develop theoretically grounded, efficient and scalable RL algorithms to learn both the optimal value functions (which also solve the exploratory HJB equation) and optimal exploratory feedback control policies. When the diffusion coefficients do not contain control, we employ probabilistic representations of both the optimal value function and its gradient based on an auxiliary state process depending only on the diffusion part of the original dynamics. With a delicate analysis on some properly defined mappings and their fixed points, this leads to the introduction of our policy iteration algorithms and their convergence. We demonstrate the performance of our algorithms through various numerical examples. Finally, we study a special control-dependent diffusion case where probability representation of the Hessian is called for.
• Abstract（参考訳）: 本研究では,ドリフト係数とランニング報酬関数が未知な連続時間および高次元確率制御問題について検討する。 これらのモデルプリミティブが欠如していることから、Wang, Zariphopoulou, Zhou(2020) の探索的、強化学習(RL)フレームワークを緩和制御とエントロピー正規化(entropy regularization)で採用する。 目的は、最適値関数(探索的HJB方程式も解く)と最適探索フィードバック制御ポリシの両方を学習するために、理論的に基礎を置き、効率的でスケーラブルなRLアルゴリズムを開発することである。 拡散係数が制御を含まない場合、原動力学の拡散部分のみに依存する補助状態過程に基づいて、最適値関数とその勾配の確率的表現を用いる。 適切に定義されたマッピングとその固定点に関する微妙な分析により、ポリシー反復アルゴリズムの導入とその収束につながります。 我々は, 様々な数値例を用いて, アルゴリズムの性能を実証する。 最後に,Hessian の確率表現が要求される特別な制御依存拡散ケースについて検討する。

関連論文リスト

• Reinforcement Learning for Speculative Trading under Exploratory Framework [2.6759949490503296]
  探索的強化学習フレームワークにおける投機的取引問題について検討する。 まず、停止時間がCoxプロセスのジャンプ時間によってモデル化される問題の緩和版を考える。 探索的定式化の下では、エージェントのランダム化制御はジャンプ強度の確率測定によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-04-02T13:41:05Z)
• Stochastic Control Methods for Optimization [0.0]
  ユークリッド設定では、正規化制御問題の問題を解析する。 大域的な測度では、マスターフィールド問題によって特徴づけられる正規化された平均場問題を定式化する。
  論文  参考訳（メタデータ） (2026-01-03T17:55:26Z)
• Stochastic Control for Fine-tuning Diffusion Models: Optimality, Regularity, and Convergence [19.484676783876306]
  拡散モデルは生成モデリングの強力なツールとして登場してきた。 微調整拡散モデルのための制御フレームワークを提案する。 PI-FTは線形速度で大域収束することを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:55:46Z)
• Sublinear Regret for a Class of Continuous-Time Linear-Quadratic Reinforcement Learning Problems [10.404992912881601]
  拡散に対する連続時間線形四元数(LQ)制御のクラスに対する強化学習(RL)について検討した。 モデルパラメータの知識にも,その推定にも依存しないモデルフリーアプローチを適用し,RLアルゴリズムを設計して,適切なポリシパラメータを直接学習する。
  論文  参考訳（メタデータ） (2024-07-24T12:26:21Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Stochastic optimal well control in subsurface reservoirs using reinforcement learning [0.0]
  本稿では,パラメータの不確実性分布の最適制御を行うためのモデルフリー強化学習フレームワークのケーススタディを提案する。 原理的には、RLアルゴリズムは数値報酬信号の最大化のために最適な行動ポリシーを学習することができる。 提案手法は,2つの水面流動試験ケースに対して,2つの最先端RLアルゴリズム,PPO,A2Cを用いて数値計算を行った。
  論文  参考訳（メタデータ） (2022-07-07T17:34:23Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。