論文の概要: Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

• arxiv url: http://arxiv.org/abs/2606.22630v1
• Date: Sun, 21 Jun 2026 18:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:15:37.672842
• Title: Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching
• Title（参考訳）: 共役マッチングによる拡散係数のスケーラブル最大エントロピー強化学習
• Authors: Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann,
• Abstract要約: 拡散政策は強化学習(RL)における複雑な行動分布を表す 我々は,近年の最適制御の進歩を活用して,拡散政策を最適化するための高効率アルゴリズムを提案する。 提案手法は, シミュレーション不要な学習を可能にし, 明確な仮説推定の必要性を回避できる随伴マッチングに基づいている。
• 参考スコア（独自算出の注目度）: 25.3394501858201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion policies have recently emerged as a powerful paradigm for representing complex action distributions in reinforcement learning (RL). However, their application to online RL remains limited by the challenge of scalable training in the absence of ground-truth data, where standard optimization techniques such as score matching are not directly applicable. In this work, we introduce a highly efficient algorithm for optimizing diffusion policies by leveraging recent advances in stochastic optimal control. Our approach is based on adjoint matching, which enables simulation-free training and circumvents the need for explicit likelihood estimation or costly backpropagation through the diffusion process. Furthermore, we propose several extensions that improve the robustness and stability of the method in practical settings. Empirical results demonstrate that our approach achieves competitive performance while significantly reducing computational overhead, making diffusion policies more viable for online RL scenarios.
• Abstract（参考訳）: 近年、拡散政策は強化学習(RL)における複雑な行動分布を表現するための強力なパラダイムとして浮上している。 しかし、オンラインRLへの適用は、スコアマッチングのような標準的な最適化手法が直接適用されないような、地平データがない場合のスケーラブルなトレーニングの課題によって制限されている。 本研究では,確率的最適制御の最近の進歩を活用して,拡散政策を最適化する高効率アルゴリズムを提案する。 提案手法は, シミュレーション不要な学習が可能であり, 拡散過程を通した明示的な推定や, コストのかかるバックプロパゲーションの必要性を回避できる随伴マッチングに基づく。 さらに,本手法の堅牢性と安定性を現実的に向上する拡張を複数提案する。 実験の結果,提案手法は計算オーバーヘッドを大幅に削減し,オンラインRLシナリオにおいて拡散ポリシーがより有効であることを実証した。

関連論文リスト

• Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces [57.466101098183884]
  強化学習(Reinforcement Learning, RL)は、現実の多くの問題に共通する大規模なアクション空間にスケールするために苦労する。 本稿では、複雑な環境下での高効率なポリシーとして、離散拡散モデルを訓練するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T21:53:36Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Efficient Online Reinforcement Learning for Diffusion Policy [38.39095131927252]
  損失関数を再重み付けすることで従来のデノナイジングスコアマッチングを一般化する。 結果のReweighted Score Matching (RSM) は最適解と低い計算コストを保存する。 DPMD(Diffusion Policy Mirror Descent)とSDAC(Soft Diffusion Actor-Critic)という2つの実用的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-01T07:55:06Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。