論文の概要: A Diffusion Approximation for Temporal-Difference Learning with Linear Features under Markovian Noise
- arxiv url: http://arxiv.org/abs/2606.18183v1
- Date: Tue, 16 Jun 2026 17:16:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.568934
- Title: A Diffusion Approximation for Temporal-Difference Learning with Linear Features under Markovian Noise
- Title（参考訳）: マルコフ雑音下での線形特徴付き時間差学習のための拡散近似
- Authors: M. Forzo, E. Monzio Compagnoni, A. Russo, A. Pacchiano,
- Abstract要約: マルコフ雑音下で線形TD(0)に対する微分方程式(SDE)近似を導入する。
結果として得られるモデルは、射影されたベルマン作用素が支配する力学とマルコフサンプリングの影響を区別する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal difference (TD) learning with linear function approximation is a core method for policy evaluation. Its classical continuous-time description is an ordinary differential equation (ODE), which captures the asymptotic mean dynamics but neglects stochastic fluctuations determining the error floor. We introduce a stochastic differential equation (SDE) approximation for linear TD(0) under Markovian noise. The resulting model distinguishes the contraction dynamics governed by the projected Bellman operator from the influence of Markovian sampling. As a consequence, the model explains the constant-stepsize error floor through the interaction between Markovian long-run covariance and the contraction geometry of the projected Bellman operator.
- Abstract（参考訳）: 線形関数近似を用いた時間差分学習(TD)は政策評価のコア手法である。
古典的な連続時間記述は常微分方程式(ODE)であり、漸近平均力学を捉えるが、誤差フロアを決定する確率的ゆらぎを無視する。
マルコフ雑音下での線形TD(0)に対する確率微分方程式(SDE)近似を導入する。
結果として得られるモデルは、射影ベルマン作用素が支配する収縮力学とマルコフサンプリングの影響を区別する。
その結果、モデルではマルコフ的長距離共分散と射影ベルマン作用素の縮退幾何の間の相互作用を通して、一定のステップサイズの誤差フロアを説明できる。
関連論文リスト
- Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。
この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。
ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
論文 参考訳（メタデータ） (2026-05-21T15:50:40Z) - On Data-Driven Koopman Representations of Nonlinear Delay Differential Equations [0.0]
この研究は、無限次元遅延力学と有限次元クープマン学習の間の厳密な橋渡しを確立する。
歴史離散化に基づく有限次元クープマン近似フレームワークと適切な再構成演算子を提案する。
論文 参考訳（メタデータ） (2026-04-03T15:07:06Z) - Latent-Variable Learning of SPDEs via Wiener Chaos [2.0901018134712297]
線形偏微分方程式(SPDE)の法則を観測から加法的ガウス強制で学習する問題について検討する。
提案手法はスペクトルガレルキン射影と乱れたウィナーカオス展開を組み合わせ、進化と強制領域を分離する。
これにより、無限次元決定論的SPDEは、潜時時間力学を管理するパラメタライズされた常微分方程式の有限系に還元される。
論文 参考訳（メタデータ） (2026-02-12T10:19:43Z) - An Elementary Approach to Scheduling in Generative Diffusion Models [55.171367482496755]
生成拡散モデルにおけるノイズスケジューリングと時間離散化の影響を特徴付けるための基礎的手法を開発した。
異なるデータセットと事前訓練されたモデルにわたる実験により、我々のアプローチによって選択された時間離散化戦略が、ベースラインとサーチベースの戦略を一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-20T05:06:26Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Temporal Difference Learning with Continuous Time and State in the
Stochastic Setting [0.0]
継続的政策評価の問題点を考察する。
これは、制御されていない連続時間ダイナミクスと報酬関数に関連付けられた値関数を観察を通して学習する。
論文 参考訳（メタデータ） (2022-02-16T10:10:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Stochastic Differential Equations with Variational Wishart Diffusions [18.590352916158093]
回帰タスクと連続時間力学モデリングの両方に対して微分方程式を推論する非パラメトリックな方法を提案する。
この研究は微分方程式の一部(拡散とも呼ばれる)に重点を置いており、ウィッシュアート過程を用いてモデル化している。
論文 参考訳（メタデータ） (2020-06-26T10:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。