論文の概要: Mean-Field PhiBE: Continuous-Time Mean-Field Reinforcement Learning from Discrete-Time Data
- arxiv url: http://arxiv.org/abs/2606.26498v1
- Date: Thu, 25 Jun 2026 01:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.136381
- Title: Mean-Field PhiBE: Continuous-Time Mean-Field Reinforcement Learning from Discrete-Time Data
- Title（参考訳）: 平均場PhiBE:離散時間データから連続時間平均場強化学習
- Abstract要約: Mean-Field-PhiBE は離散時間遷移情報をワッサーシュタイン空間上の連続時間 PDE に組み込む。
我々は、最適MF-PhiBEポリシーによって誘導される値が最適連続時間値に近似することを示す一階一貫性推定を証明した。
- 参考スコア（独自算出の注目度）: 3.289415378344147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses model-free continuous-time mean-field control in a setting where the population dynamics evolve continuously according to an unknown McKean-Vlasov stochastic differential equation, while only discrete-time transition data are available. In the model-based formulation, policy evaluation is naturally described by a stationary Hamilton-Jacobi-Bellman equation on $\mathcal P_2(\mathbb R^d)$, but this equation involves the drift and diffusion coefficients of the controlled McKean-Vlasov dynamics, which are not identifiable when only discrete-time data are available. On the other hand, a direct reduction to a time-discrete Bellman equation avoids the non-identifiability issue but loses the differential equation structure. To bridge these two viewpoints, we introduce a Mean-Field-PhiBE (MF-PhiBE), which incorporates discrete-time transition information into a continuous-time PDE on the Wasserstein space. The MF-PhiBE replaces the unknown infinitesimal drift and covariance in the policy-evaluation equation by one-step estimators computed from data, while preserving the generator structure of the McKean-Vlasov HJB equation. We also derive a policy-gradient theorem for entropy-regularized randomized feedback policies, expressing the actor direction through an action-wise infinitesimal advantage and the score of the policy. Combining these two ingredients yields a model-free actor-critic method. We prove a first-order consistency estimate showing that the value induced by an optimal MF-PhiBE policy approximates the optimal continuous-time value with an error of order $Δt$. In the linear-quadratic case, we show our approximation achieves second-order accuracy with only one-step data. Numerical experiments on an LQR benchmark and a crowd-aversion problem illustrate the proposed framework.
- Abstract（参考訳）: 本稿では,人口動態が未知のマッキーン・ヴラソフ確率微分方程式に従って連続的に進行する状況下でのモデルフリー連続時間平均場制御に対処し,離散時間遷移データのみが利用可能である。
モデルに基づく定式化において、ポリシー評価は、$\mathcal P_2(\mathbb R^d)$ 上の定常ハミルトン・ヤコビ・ベルマン方程式によって自然に記述されるが、この方程式は、離散時間データしか利用できないマッケイン・ブラソフ力学のドリフトと拡散係数を含む。
一方、時分割ベルマン方程式への直接還元は、不特定性の問題を避けるが、微分方程式構造を失う。
これら2つの視点を橋渡しするために、ワッサーシュタイン空間上の連続時間PDEに離散時間遷移情報を含む平均場PhiBE(MF-PhiBE)を導入する。
MF-PhiBEは、McKean-Vlasov HJB方程式のジェネレータ構造を保持しながら、データから計算された1ステップの推定器によって、ポリシー評価方程式の未知の無限小のドリフトと共分散を置き換える。
また、エントロピー規則化されたランダム化されたフィードバックポリシーに対して、アクションワイド無限小の利点とポリシーのスコアを通じてアクターの方向性を表現するためのポリシー段階の定理を導出する。
これら2つの成分を組み合わせることで、モデルのないアクター批判的な方法が得られる。
最適MF-PhiBE法により誘導される値が最適連続時間値とオーダー$Δt$の誤差を近似することを示す一階一貫性推定を証明した。
線形四進法の場合、近似は1段階のデータのみを用いて2次精度を達成する。
LQRベンチマークとクラウド・アバージョン問題に関する数値実験は,提案したフレームワークを例証する。
関連論文リスト
- LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる
既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。
本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文 参考訳（メタデータ） (2026-08-06T04:47:57Z) - Residual-Based Time Discretization on Nonlinear Approximation Manifolds: Analysis and Gaussian Applications [0.0]
ヒルベルト空間における進化方程式の時間離散パラメトリック近似を残留最小化に基づいて検討する。
離散化と進化方程式のパラメトリゼーション、パラメータ力学を規定するディラック-フランケル変分原理の離散化である。
論文 参考訳（メタデータ） (2026-07-16T14:57:44Z) - Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。
この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。
ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
論文 参考訳（メタデータ） (2026-05-21T15:50:40Z) - An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。
異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-20T05:06:26Z) - Uniform-in-time convergence bounds for Persistent Contrastive Divergence Algorithms [0.29494468099506904]
非正規化密度の最大最大値推定(MLE)のための持続的コントラスト分散(PCD)の連続時間定式化を提案する。
我々は,PCDとモデルパラメータのMLE解との誤差に対して,明示的な境界を導出することができる。
論文 参考訳（メタデータ） (2025-10-02T12:12:33Z) - Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-04T17:46:51Z) - Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [18.299322342860517]
フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。
これらのモデルは、Albergo と VandenEijnden (2023) で提案されたフレームワークを拡張し、インターポーラントと呼ばれる広範囲の連続時間プロセスの使用を可能にした。
論文 参考訳（メタデータ） (2023-03-15T17:43:42Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Temporal Difference Learning with Continuous Time and State in the
Stochastic Setting [0.0]
継続的政策評価の問題点を考察する。
これは、制御されていない連続時間ダイナミクスと報酬関数に関連付けられた値関数を観察を通して学習する。
論文 参考訳（メタデータ） (2022-02-16T10:10:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Nonparametric Bayesian volatility learning under microstructure noise [2.812395851874055]
市場マイクロ構造騒音下でのボラティリティ学習の課題について検討する。
具体的には、微分方程式からノイズの多い離散時間観測を考察する。
方程式の拡散係数を学習するための新しい計算法を開発した。
論文 参考訳（メタデータ） (2018-05-15T07:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。