Fugu-MT 論文翻訳(概要): Online Inference for Quantile Temporal Difference Learning in Distributional Reinforcement Learning

論文の概要: Online Inference for Quantile Temporal Difference Learning in Distributional Reinforcement Learning

arxiv url: http://arxiv.org/abs/2608.12973v1
Date: Thu, 13 Aug 2026 08:53:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-14 18:29:38.446189
Title: Online Inference for Quantile Temporal Difference Learning in Distributional Reinforcement Learning
Title（参考訳）: 分散強化学習における時間差分学習のオンライン推論
Abstract要約: 本研究では,分散強化学習における量子時間差分学習(QTD)の統計的推論法について検討する。まず、同期QTDと非同期QTDの両方に対して関数中心極限定理を定め、QTDの平均的な反復が、再スケールされたブラウン運動に弱収束することを示す。
参考スコア（独自算出の注目度）: 16.700969464418936
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we study how to perform statistical inference for quantile temporal difference learning (QTD) in distributional reinforcement learning. Assuming access to a generative model, we first establish functional central limit theorems for both synchronous and asynchronous QTD, which show that the averaged iterates of QTD converge weakly to a rescaled Brownian motion. We next provide online inference methods. Based on random scaling, the inference procedure constructs an asymptotically pivotal statistic for inference by using the information along the whole QTD path. Meanwhile, the proposed statistic can be computed online without storing the entire trajectory of QTD iterates. This substantially reduces the memory requirement and enables efficient statistical inference in distributional reinforcement learning.
Abstract（参考訳）: 本稿では,分散強化学習における量子時間差分学習(QTD)の統計的推論手法について検討する。生成モデルへのアクセスを仮定すると、まず同期QTDと非同期QTDの両方の関数中心極限定理を定め、QTDの平均的な反復が、再スケールされたブラウン運動に弱収束することを示す。次にオンライン推論方法を提供します。ランダムなスケーリングに基づいて、推論手順は、QTDパス全体に沿った情報を使用することにより、推論のための漸近的なピボット統計を構成する。一方、提案した統計量は、QTDの全ての軌道を記憶することなくオンラインで計算することができる。これにより、メモリ要求を大幅に低減し、分散強化学習における効率的な統計的推測を可能にする。

関連論文リスト

Accelerated Distributional Temporal Difference Learning with Linear Function Approximation [18.808136833869195]
線形関数近似を用いた分布時間差(TD)学習の有限サンプル統計率について検討した。我々の理論的結果は、線形関数近似を用いた分布的TD学習を採用する場合、ストリーミングデータから戻り関数の完全な分布を学習することが、期待値の学習よりも難しくないことを示唆している。
論文参考訳（メタデータ） (2025-11-16T17:09:52Z)
A Finite Sample Analysis of Distributional TD Learning with Linear Function Approximation [21.999445060856278]
線形関数近似を用いた分布時間差(TD)学習の有限サンプル統計率について検討した。この結果から,分布強化学習アルゴリズムの統計的効率に関する新たな知見が得られた。
論文参考訳（メタデータ） (2025-02-20T00:53:22Z)
Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
論文参考訳（メタデータ） (2025-02-19T15:33:55Z)
Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
Asymptotic Analysis of Sample-averaged Q-learning [2.2374171443798034]
本稿では、サンプル平均Qラーニング(SA-QL)と呼ばれる、時間変化のバッチ平均Qラーニングのためのフレームワークを提案する。サンプル平均化アルゴリズムの機能的中心極限を軽度条件下で利用し,間隔推定のためのランダムなスケーリング手法を開発した。この研究は、サンプル平均Q-ラーニングのための統一理論基盤を確立し、効率的なバッチスケジューリングとRLアルゴリズムの統計的推論に関する洞察を提供する。
論文参考訳（メタデータ） (2024-10-14T17:17:19Z)
The Statistical Benefits of Quantile Temporal-Difference Learning for Value Estimation [53.53493178394081]
我々は、分散強化学習アルゴリズムQTD(Quantile temporal-Difference Learning)を用いて分析する。たとえ実践者が平均を超えるリターン分布に関心がなかったとしても、QTDは古典的なTD学習のような手法よりも優れたパフォーマンスを提供するかもしれない。
論文参考訳（メタデータ） (2023-05-28T10:52:46Z)
An Analysis of Quantile Temporal-Difference Learning [53.36758478669685]
量子時間差学習(QTD)は、強化学習の大規模応用において重要な要素であることが証明されている。古典的なTD学習とは異なり、QTD更新は縮小写像を近似せず、非常に非線形であり、複数の固定点を持つ。本稿では,確率 1 の動的プログラミング手順の関連ファミリの固定点への収束の証明である。
論文参考訳（メタデータ） (2023-01-11T13:41:56Z)
On the Dynamics of Inference and Learning [0.0]
本稿では,このベイズ更新過程を連続力学系として扱う。クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
論文参考訳（メタデータ） (2022-04-19T18:04:36Z)
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
論文参考訳（メタデータ） (2021-06-06T15:38:37Z)
Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2020-07-24T05:18:17Z)
Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-05T07:06:19Z)
A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。