論文の概要: Beyond the Independence Assumption: Finite-Sample Guarantees for Deep Q-Learning under $τ$-Mixing

• arxiv url: http://arxiv.org/abs/2605.06373v1
• Date: Thu, 07 May 2026 14:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.919667
• Title: Beyond the Independence Assumption: Finite-Sample Guarantees for Deep Q-Learning under $τ$-Mixing
• Title（参考訳）: インデペンデンス予想を超えて:$τ$-Mixingの下での深層Q-Learningのためのファイナントサンプの保証
• Authors: Leon Halgryn, Sophie Langer, Janusz M. Meylahn, E. Moritz Hahn,
• Abstract要約: 本稿では,ネットワーク更新に用いるミニバッチを$$-mixingとしてモデル化することにより,DQNアルゴリズムを明示的依存下で検討する。 この仮定は、下層の軌跡とミニバッチのサンプリングに使用されるメカニズムに一定の依存条件で成り立つことを示す。
• 参考スコア（独自算出の注目度）: 1.5166105038254163
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Finite-sample analyses of deep Q-learning typically treat replayed data as independent, even though it is sampled from temporally dependent state-action trajectories. We study the Deep Q-networks (DQN) algorithm under explicit dependence by modelling the minibatches used for updating the network as $τ$-mixing. We show that this assumption holds under certain dependence conditions on the underlying trajectories and the mechanism used to sample minibatches. Building on this observation, we extend statistical analyses of DQN with fully connected ReLU architectures to dependent data. We formulate each update as a nonparametric regression problem with $τ$-mixing observations and derive finite-sample risk bounds under this dependence structure. Our results show that temporal dependence leads to a degradation in the statistical rate by inducing an additional dimensionality penalty in the rate exponent, reflecting the reduced effective sample size of $τ$-mixing data. Moreover, we derive the sample complexity of DQN under $tau$-mixing from these risk bounds. Finally, we empirically demonstrate on standard Gymnasium environments that the independence assumption is systematically violated and that replay sampling yields approximately exponentially decaying correlations, supporting our theoretical framework.
• Abstract（参考訳）: 深層Q-ラーニングの有限サンプル分析は、時相依存の状態-作用軌道からサンプリングされたとしても、通常、リプレイされたデータを独立したものとして扱う。 本稿では,ネットワーク更新に用いるミニバッチを$τ$-mixingとしてモデル化することにより,DQNアルゴリズムを明示的依存下で検討する。 この仮定は、下層の軌跡とミニバッチのサンプリングに使用されるメカニズムに一定の依存条件で成り立つことを示す。 この観測に基づいて、完全連結ReLUアーキテクチャによるDQNの統計的解析を依存データに拡張する。 それぞれの更新は、$τ$-mixingの観測で非パラメトリック回帰問題として定式化し、この依存構造の下で有限サンプルリスク境界を導出する。 その結果, 時間依存性は, 有効試料サイズが$τ$-mixingデータの減少を反映して, 速度指数に余剰次元ペナルティを誘導することにより, 統計速度の低下につながることがわかった。 さらに、これらのリスク境界から$tau$-mixingの下でのDQNのサンプル複雑性を導出する。 最後に, 標準のジムナジウム環境において, 独立仮定が体系的に違反し, リプレイサンプリングがほぼ指数関数的に崩壊する相関関係を生じ, 理論的枠組みを支持することを実証的に実証した。

関連論文リスト

• Fréchet regression of multivariate distributions with nonparanormal transport [5.388168357866664]
  本稿では,多変量分布応答に対する新しい回帰手法を提案する。 我々は、NPTの理論的正当性を提供し、ワッサーシュタイン距離と位相的同値性を確立し、それが次元の呪いを緩和することを証明する。 本手法の実用性はシミュレーションと連続グルコースモニタリングデータへの応用により実証された。
  論文  参考訳（メタデータ） (2026-03-07T03:21:12Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples [32.707730631343416]
  オフライン強化学習(オフラインRL)は、以前に収集したサンプルのみを用いて学習を行う問題を考える。 モデルベースオフラインRLでは、学習者は経験的遷移に応じて構築されたモデルを用いて推定(または最適化)を行う。 本研究では,バニラモデルに基づくオフラインRLのサンプル複雑性を無限水平ディスカウント・リワード設定における依存サンプルを用いて解析する。
  論文  参考訳（メタデータ） (2023-03-07T22:39:23Z)
• Combined Data and Deep Learning Model Uncertainties: An Application to the Measurement of Solid Fuel Regression Rate [0.0]
  複雑な物理過程のキャラクタリゼーションでは、観測データと使用するモデルの両方が複数のソースから派生した不確実性を持っている。 本稿では,観測された回帰率の確率分布を生成するために,前方伝播不確実性定量化プロセスを提案する。 本研究の主な貢献は、実験画像データの不確実性の調査と包括性であり、ワークフローに組み込む方法である。
  論文  参考訳（メタデータ） (2022-10-25T19:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。