論文の概要: Expressivity and Statistical Trade-offs in Diffusion Policy Learning
- arxiv url: http://arxiv.org/abs/2607.07967v1
- Date: Wed, 08 Jul 2026 22:42:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.35617
- Title: Expressivity and Statistical Trade-offs in Diffusion Policy Learning
- Title（参考訳）: 拡散政策学習における表現性と統計的トレードオフ
- Abstract要約: 我々は,拡散政策の表現性と統計的挙動を管理する中心的な量として,ドリフトリプシッツ予算K$を同定する。
ドリフトがニューラルネットワークによってパラメータ化されると、K$の増加は近似を改善するが、統計的に複雑になる。
利用可能なサンプルサイズに応じて拡散予算$K$を選択し、それに対応する固定リプシッツ係数のニューラルネットワークアーキテクチャを選択する。
- 参考スコア（独自算出の注目度）: 12.297890608926041
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion-based policies have recently emerged as powerful policy parameterizations for reinforcement learning, representing state-conditioned action distributions as terminal laws of diffusion processes with parameterized drifts. This terminal-law representation has shown substantial expressive flexibility in practice, enabling diffusion policies to model complex, multimodal, and highly non-Gaussian action distributions; however, it remains unclear what mathematically drives this expressivity and how to fully exploit it when the policy is learned from finite data. In this paper, we identify the drift Lipschitz budget $K$ as a central quantity governing the expressivity and statistical behavior of diffusion policies. We quantify expressivity through approximation: diffusion policies with $K$-Lipschitz drifts can concentrate near optimal deterministic policies and achieve value approximation error of order $1/K$; moreover, we prove a matching lower bound under nondegenerate diffusion noise. This increased expressivity comes with a statistical cost. When the drift is parameterized by neural networks, increasing $K$ improves approximation but increases statistical complexity. Balancing these two terms yields a finite-sample performance gap of order $\tilde{O}(n^{-2/(m+6)})$ for generic neural-network drifts, and a sharper rate $\tilde{O}(n^{-2/(m+4)})$ for one-sided dissipative drift classes, where $n$ is the sample size and $m$ is the dimension of the state space. Numerical experiments provide empirical evidence for the sample-dependent trade-off in $K$, supporting both theoretical regimes. Our framework also suggests a practical implementation principle: choose the diffusion budget $K$ according to the available sample size, and then select a neural-network architecture with the corresponding fixed Lipschitz coefficient.
- Abstract（参考訳）: 拡散に基づく政策は近年,パラメータ化ドリフトを伴う拡散過程の終端法則として状態条件付き行動分布を表現し,強化学習のための強力な政策パラメータ化として出現している。
この終末法則表現は、実際はかなりの表現的柔軟性を示しており、拡散ポリシーが複素、マルチモーダル、および非常に非ガウス的行動分布をモデル化することができるが、この表現性を数学的にどう駆動するか、あるいはそのポリシーが有限データから学習されたときにそれをフルに活用するかは、まだ不明である。
本稿では,拡散政策の表現性と統計的挙動を管理する中心的な量として,ドリフトリプシッツ予算K$を同定する。
K$-Lipschitzドリフトの拡散ポリシは最適な決定論的ポリシに近づき、オーダー1/K$の値近似誤差を達成でき、さらに非退化拡散雑音下での一致した下界を証明できる。
この表現力の増大には統計的コストが伴う。
ドリフトがニューラルネットワークによってパラメータ化されると、K$の増加は近似を改善するが、統計的に複雑になる。
これら2つの項のバランスをとると、次数 $\tilde{O}(n^{-2/(m+6)})$ の一般ニューラルネットドリフトに対して、よりシャープレート $\tilde{O}(n^{-2/(m+4)})$ の有限サンプル性能ギャップが得られ、一方の散逸性ドリフトクラスでは、$n$ はサンプルサイズであり、$m$ は状態空間の次元である。
数値実験は、サンプル依存のトレードオフをK$で実証的に証明し、どちらの理論も支持している。
利用可能なサンプルサイズに応じて拡散予算$K$を選択し、それに対応する固定リプシッツ係数のニューラルネットワークアーキテクチャを選択する。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Statistical inverse learning and $\ell^1$-regularization [0.27998963147546135]
統計的逆学習の枠組みにおいて,有限,雑音,間接的な観測からスパース関数の回復について検討した。
我々は、ほぼ公約指数を確立し、予測基準と$ell1$復元基準の両方において、非漸近的高確率収束率を導出する。
論文 参考訳（メタデータ） (2026-07-08T14:32:08Z) - Reflected diffusion models adapt to low-dimensional data [1.4273866043218157]
本稿では、超キューブ$[0,1]D$が$d$次元線型部分空間上でサポートされている場合の反射拡散モデルの統計的解析を行う。
簡単に実装可能な遷移密度の無限級数展開を利用することで、スコア関数とその近似をスパースReLUネットワークで束縛する解析ツールを開発する。
論文 参考訳（メタデータ） (2026-03-25T16:37:33Z) - Distribution estimation via Flow Matching with Lipschitz guarantees [0.0]
生成モデリングにおける有望なアプローチであるFlow Matchingが最近人気を集めている。
この依存関係を制御するための仮定について検討する。
推定分布と対象分布との距離をワッサーシュタインが1ドルで収束する速度を導出する。
論文 参考訳（メタデータ） (2025-09-02T14:04:11Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Equivariant Diffusion Policy [16.52810213171303]
そこで本研究では,ドメイン対称性を利用した新しい拡散政策学習手法を提案し,より優れたサンプル効率とデノナイジング関数の一般化を実現する。
提案手法は,MimicGenにおける12のシミュレーションタスクに対して実証的に評価し,ベースライン拡散政策よりも平均21.9%高い成功率が得られることを示す。
論文 参考訳（メタデータ） (2024-07-01T21:23:26Z) - Policy Gradient with Active Importance Sampling [55.112959067035916]
政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。
しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。
我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
論文 参考訳（メタデータ） (2024-05-09T09:08:09Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。
世界的な最適な政策勾配(NPG)に収束する。
O (1/t) レート勾配でのポリシー。
値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
論文 参考訳（メタデータ） (2023-01-16T06:28:00Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳（メタデータ） (2020-11-11T18:17:09Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。