論文の概要: Offline Deep Q* Estimation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2608.14401v1
• Date: Fri, 14 Aug 2026 15:41:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.424554
• Title: Offline Deep Q* Estimation with Diffusion Models
• Title（参考訳）: 拡散モデルによるオフライン深部Q*推定
• Abstract要約: オフラインRLでは、最適な作用値関数 $Q*$ を推定することは、オフライン観測のみに基づく最適なベルマン方程式の解として定式化することができる。 根本的な課題は、報酬関数と遷移カーネルが未知であるため、最適なベルマン演算子はデータから直接観測できないことである。 本稿では,演算子推定を値関数学習から分離する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.44728780206662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In offline RL, estimating the optimal action-value function $Q^*$ can be formulated as solving the optimal Bellman equation based solely on offline observations. A fundamental challenge is that the reward function and transition kernel are unknown, so the optimal Bellman operator is not directly observable from data. To address this issue, we propose a novel framework that decouples operator estimation from value function learning. In this approach, we first formulate conditional diffusion models to estimate the reward law and transition kernel, which induces a data-driven approximation of the optimal Bellman operator. We then plug these estimators into the Bellman equation and obtain a deep estimator of $Q^*$ by minimizing the empirical Bellman residual over a neural network function class. Theoretically, we first establish sharp nonasymptotic convergence rates for learning the optimal Bellman operator through an end-to-end analysis of conditional diffusion estimation in total variation distance. We then establish the oracle value-stage rate $\widetilde{\mathcal O}\bigl(n^{-\frac{2β}{d_x+d_a+2β}}\bigr)$ for the excess Bellman residual risk. Finally, under a concentrability condition, we translate this residual bound into an $L^2$ convergence rate of $\widetilde{\mathcal O}\bigl(n^{-\fracβ{d_x+d_a+2β}}\bigr)$ for the resulting deep estimator of $Q^*$, where $d_x$ and $d_a$ denote the dimensions of the state and action spaces, respectively, and $β$ denotes the Hölder smoothness index of $Q^*$. Importantly, our theoretical analysis does not rely on completeness assumptions commonly used in deep RL theory. Extensive numerical experiments demonstrate the effectiveness of the proposed method and its strong empirical performance.
• Abstract（参考訳）: オフラインRLでは、最適な作用値関数 $Q^*$ を推定することは、オフライン観測のみに基づく最適なベルマン方程式の解として定式化することができる。 根本的な課題は、報酬関数と遷移カーネルが未知であるため、最適なベルマン演算子はデータから直接観測できないことである。 この問題に対処するために,演算子推定を値関数学習から切り離す新しいフレームワークを提案する。 提案手法では,まず条件付き拡散モデルを用いて報酬法則と遷移カーネルを推定し,最適なベルマン演算子のデータ駆動近似を導出する。 次に、これらの推定器をベルマン方程式に差し込み、ニューラルネットワーク関数クラス上の経験的ベルマン残差を最小化することにより、$Q^*$の深い推定器を得る。 理論的には、まず、全変動距離における条件付き拡散推定のエンドツーエンド解析により最適なベルマン作用素を学習するために、急激な漸近収束速度を確立する。 次に,余剰ベルマン残差リスクに対して,オラクル値ステージレート$\widetilde{\mathcal O}\bigl(n^{-\frac{2β}{d_x+d_a+2β}}\bigr)を確立させる。 最後に、集中性条件の下では、この残差境界を$L^2$収束率$\widetilde{\mathcal O}\bigl(n^{-\fracβ{d_x+d_a+2β}}\bigr)$に変換する。 重要なことに、我々の理論解析は、深いRL理論でよく用いられる完全性仮定に依存しない。 大規模な数値実験により,提案手法の有効性と高い実験性能が示された。

関連論文リスト

• Statistical inverse learning and $\ell^1$-regularization [0.27998963147546135]
  統計的逆学習の枠組みにおいて,有限,雑音,間接的な観測からスパース関数の回復について検討した。 我々は、ほぼ公約指数を確立し、予測基準と$ell1$復元基準の両方において、非漸近的高確率収束率を導出する。
  論文  参考訳（メタデータ） (2026-07-08T14:32:08Z)
• Central Limit Theorem for Two-Time-Scale Approximate Distributionally Robust RL [8.809468023364703]
  堅牢な強化学習アルゴリズムの設計は根本的な課題を生んでいる。 本稿では、関連するロバスト関数の1次展開に基づく近似DRRLフレームワークを提案する。 この近似方程式の定点を学習するために,平均変数近似(MVSA)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T19:24:28Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Sampling non-log-concave densities via Hessian-free high-resolution dynamics [8.014749318189851]
  本研究では,Hessian-free- resolution (HFHR) プロセスのターゲット分布 $(q)prop e-U(q) からのサンプリング問題について検討する。 我々は、$blana U$ linear growth が無限大であるという追加の仮定の下で、HFHR 力学の収縮は KLD よりも厳密に優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-06T05:38:09Z)
• Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
  我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。 我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-08T13:19:26Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
  エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。 我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-29T02:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。