論文の概要: Deep Q-Learning on Hölder Spaces

• arxiv url: http://arxiv.org/abs/2606.16846v1
• Date: Mon, 15 Jun 2026 15:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.666037
• Title: Deep Q-Learning on Hölder Spaces
• Title（参考訳）: ヘルダー空間の深部Q-ラーニング
• Authors: Qian Qi,
• Abstract要約: 連続状態と動作を伴う連続時間制御におけるQ-ラーニングの演算子理論コアについて検討する。 ベルマンの更新により、有界な入力を異方正則クラスにマッピングし、状態変数を滑らかにするとともに、動作変数にリプシッツのみ依存することを示す。 結果として得られる理論は、ベルマンの目標正則性と連続制御における近似のレベルにおけるQ-ラーニング理論に直接貢献する。
• 参考スコア（独自算出の注目度）: 0.5671339754416556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the operator-theoretic core of Q-learning in continuous-time stochastic control with continuous states and actions. In value-based reinforcement learning, each Q-learning or DQN update is built from a Bellman optimality target; our analysis isolates this target in a diffusion setting and studies its regularity and approximation complexity. Under uniform ellipticity and Hölder-regular coefficients, we show that a Bellman update maps bounded inputs into an anisotropic regularity class, smoothing the state variable while leaving only Lipschitz dependence on the action variable. This yields a compact family of Bellman iterates and motivates a tensor-product DeepONet architecture adapted to the mixed regularity of the problem. We then derive explicit approximation and resource bounds, together with a stiffness--complexity trade-off as the time step $δ\to 0$. The resulting theory makes a direct contribution to Q-learning theory at the level of Bellman target regularity and approximation in continuous stochastic control. At the same time, we do not claim a full convergence theorem for practical sampled Q-learning with exploration, replay, and stochastic gradient updates.
• Abstract（参考訳）: 連続状態と動作を伴う連続時間確率制御におけるQ-ラーニングの演算子理論コアについて検討する。 値に基づく強化学習では、各Q-ラーニングまたはDQN更新はベルマン最適性目標から構築される。 一様楕円性およびヘルダー正則係数の下で、ベルマンの更新は有界な入力を異方正則類に写像し、状態変数を滑らかにし、作用変数にリプシッツのみ依存することを示した。 これによりベルマンのコンパクトな族が反復し、問題の混合正則性に適応したテンソル積のDeepONetアーキテクチャを動機付ける。 次に、明示的な近似とリソース境界を導出し、時間ステップ $δ\to 0$ として硬度-複雑さのトレードオフを導出する。 結果として得られる理論は、連続確率制御におけるベルマン目標正則性と近似のレベルにおけるQ-ラーニング理論に直接寄与する。 同時に、探索、リプレイ、確率勾配更新を伴う実践的なQ-ラーニングのための完全収束定理を主張しない。

関連論文リスト

• Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning [7.683866416886673]
  Wasserstein Policy gradient (WPG)は、強化学習のためのポリシー最適化手法である。 エントロピー規則化 RL のベルマン構造を利用して WPG に対する大域収束理論を開発する。 解析により、エントロピー正則化 RL は通常の平坦な意味では凸ではないが、ベルマン再帰は好ましいポリアック-ロジャシエヴィチ型幾何を誘導することを示した。
  論文  参考訳（メタデータ） (2026-05-25T17:42:59Z)
• Continual Quantum Architecture Search with Tensor-Train Encoding: Theory and Applications to Signal Processing [68.35481158940401]
  CL-QASは連続的な量子アーキテクチャ検索フレームワークである。 振幅のエンコードと変分量子回路の忘れを犠牲にすることの課題を緩和する。 制御可能なロバスト性表現性、サンプル効率の一般化、およびバレンプラトーを使わずに滑らかな収束を実現する。
  論文  参考訳（メタデータ） (2026-01-10T02:36:03Z)
• Bellman Calibration for V-Learning in Offline Reinforcement Learning [40.322273308230606]
  本稿では, 簡易かつモデルに依存しないポストホック法であるイテレーテッドベルマンを導入する。 古典的ヒストグラムとアイソトニックキャリブレーションを動的, 反実的設定に適応させる。 これにより、任意の値推定器に適用可能な1次元の適合値スキームが得られる。
  論文  参考訳（メタデータ） (2025-12-29T18:52:18Z)
• GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning [0.0]
  逐次残差学習によるモデルドリフトに対応する適応型アンサンブル法であるemphGradient-Boosted Deep Q-Networks (GB-DQN)を提案する。 GB-DQNは、単一のQ-ネットワークを再訓練する代わりに、新たな学習者がドリフト後の現在のアンサンブルのベルマン残差を近似するように訓練された付加的なアンサンブルを構築する。
  論文  参考訳（メタデータ） (2025-12-18T19:53:50Z)
• Quantum Boltzmann Machines for Sample-Efficient Reinforcement Learning [0.0]
  連続動作強化学習を支援する連続半量子ボルツマンマシンを理論的に構築する。 可視単位上の指数族事前と隠れ単位上のボルツマン分布を組み合わせることで、CSQBMは強いアルゴリズムを維持しながら量子ビット要求を減少させるハイブリッド量子古典モデルを生成する。
  論文  参考訳（メタデータ） (2025-11-06T22:40:18Z)
• Universal Approximation Theorem for Deep Q-Learning via FBSDE System [2.1756081703276]
  本稿では,Deep Q-Networks (DQN) のクラスに対する普遍近似理論を確立する。 関数空間上で作用するニューラル演算子として考えられたディープ残留ネットワークの層がベルマン作用素の作用を近似できることを示す。
  論文  参考訳（メタデータ） (2025-05-09T13:11:55Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Wasserstein Actor-Critic: Directed Exploration via Optimism for Continuous-Actions Control [41.7453231409493]
  Wasserstein Actor-Critic (WAC) は、Wasserstein Q-Learning (WQL) citepwqlにインスパイアされたアクター批判アーキテクチャである。 WACは、Q値の推定値の上限を最適化してポリシー学習プロセスを導くことによって、原則的な方法で探索を実施する。
  論文  参考訳（メタデータ） (2023-03-04T10:52:20Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)
• Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning [59.71676469100807]
  この研究は、同期Q-ラーニングのサンプルの複雑さを、任意の$0varepsilon 1$に対して$frac|mathcalS| (1-gamma)4varepsilon2$の順序に絞る。 計算やストレージを余分に必要とせずに、高速なq-learningにマッチするvanilla q-learningの有効性を明らかにした。
  論文  参考訳（メタデータ） (2021-02-12T14:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。