論文の概要: Conditional Flow Models for Offline Maximum Entropy Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.32125v1
• Date: Fri, 23 Oct 2026 03:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.338222
• Title: Conditional Flow Models for Offline Maximum Entropy Reinforcement Learning
• Title（参考訳）: オフライン最大エントロピー強化学習のための条件流モデル
• Abstract要約: 固定データセットから最適なソフトアクション値関数(Q*)を推定するためのフレームワークを提案する。 確率フローODEに基づく条件拡散モデルでは、条件付き報酬分布と遷移カーネルを推定する。 深層強化学習に関する多くの理論解析とは対照的に、この結果はベルマン完全性を必要としない。
• 参考スコア（独自算出の注目度）: 20.77928805591345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline maximum entropy reinforcement learning seeks to estimate the optimal soft action-value function \(Q^*\) from a fixed dataset without further interaction with the environment. Although \(Q^*\) is characterized by the soft optimal Bellman equation, the corresponding Bellman operator cannot be evaluated directly because both the reward distribution and the transition kernel are unknown. Consequently, estimating \(Q^*\) requires the joint treatment of environment modeling and value function learning. We propose a framework that addresses these tasks separately. Conditional diffusion models based on probability flow ODEs estimate the conditional reward distribution and transition kernel. The resulting distributional estimators define a data driven approximation of the soft optimal Bellman operator, whose empirical Bellman residual is minimized over a class of deep neural networks to estimate \(Q^*\). We establish nonasymptotic guarantees for the proposed method. For operator learning, we derive total variation error bounds for the conditional flow estimators that account explicitly for score estimation, numerical discretization, and terminal smoothing. For soft value learning, we first use the soft Bellman equation to show that $Q^*$ inherits Hölder regularity from the conditional reward and transition densities. For any Hölder index $β$, the value learning stage achieves an excess Bellman residual risk bound of order $\widetilde{\mathcal O}\big(n^{-\frac{2β}{d+2β}}\big),$ where $d$ is the total dimension of the state and action spaces. In contrast to many existing theoretical analyses of deep reinforcement learning, our results do not require Bellman completeness. Numerical experiments support the theoretical findings and demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: オフライン最大エントロピー強化学習は、環境とのさらなる相互作用なしに、固定されたデータセットから最適なソフトアクション値関数 \(Q^*\) を推定しようとする。 Q^*\) はソフト最適ベルマン方程式によって特徴づけられるが、報酬分布と遷移カーネルの双方が未知であるため、対応するベルマン作用素を直接評価することはできない。 その結果, 環境モデリングと値関数学習を共同で行う必要がある。 我々はこれらのタスクを個別に扱うフレームワークを提案する。 確率フローODEに基づく条件拡散モデルでは、条件付き報酬分布と遷移カーネルを推定する。 結果の分布推定器は、実験的なベルマン残差が深層ニューラルネットワークのクラスで最小化され、(Q^*\)を推定する、ソフト最適ベルマン作用素のデータ駆動近似を定義する。 提案手法の漸近的保証を確立する。 演算子学習において、スコア推定、数値離散化、終端平滑化を明示的に考慮した条件流推定器の総変分誤差境界を導出する。 ソフトバリュー学習では、まずソフトベルマン方程式を用いて、条件付き報酬と遷移密度から$Q^*$がヘルダー正則性を引き継ぐことを示す。 任意のヘルダー指数 $β$ に対して、値学習段階は順序 $\widetilde{\mathcal O}\big(n^{-\frac{2β}{d+2β}}\big),$$d$ は状態空間と作用空間の総次元である。 深層強化学習に関する多くの理論解析とは対照的に、この結果はベルマン完全性を必要としない。 数値実験は理論的な結果をサポートし,提案手法の有効性を実証する。

関連論文リスト

• Offline Deep Q* Estimation with Diffusion Models [19.44728780206662]
  オフラインRLでは、最適な作用値関数 $Q*$ を推定することは、オフライン観測のみに基づく最適なベルマン方程式の解として定式化することができる。 根本的な課題は、報酬関数と遷移カーネルが未知であるため、最適なベルマン演算子はデータから直接観測できないことである。 本稿では,演算子推定を値関数学習から分離する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-14T15:41:03Z)
• Central Limit Theorem for Two-Time-Scale Approximate Distributionally Robust RL [8.809468023364703]
  堅牢な強化学習アルゴリズムの設計は根本的な課題を生んでいる。 本稿では、関連するロバスト関数の1次展開に基づく近似DRRLフレームワークを提案する。 この近似方程式の定点を学習するために,平均変数近似(MVSA)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T19:24:28Z)
• To bootstrap or to rollout? An optimal and adaptive interpolation [4.755935781862859]
  本稿では,ブートストラップ法とロールアウト法を補間するベルマン演算子のクラスを紹介する。 我々の推定器は、ブートストラップに基づく時間差(TD)推定器とロールアウトに基づくモンテカルロ(MC)手法の強度を組み合わせる。
  論文  参考訳（メタデータ） (2024-11-14T19:00:00Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Learning Successor States and Goal-Dependent Values: A Mathematical Viewpoint [18.70146287117806]
  後続状態とゴール依存値関数学習のための時間差アルゴリズムを導出する。 連続環境においても有限分散推定器を提供する。 長期依存関係に対する固定ポイントを完全に理解しています。
  論文  参考訳（メタデータ） (2021-01-18T15:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。