論文の概要: FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies

• arxiv url: http://arxiv.org/abs/2603.27450v1
• Date: Sun, 29 Mar 2026 00:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.964838
• Title: FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies
• Title（参考訳）: FlowRL:拡散政策による強化学習のための分類とモジュールフレームワーク
• Abstract要約: 本稿では,拡散/フローポリシを備えたアルゴリズムRLの包括的分類法を提案する。 Gym-Locomotion、DeepMind Control Suite、IsaacLabのベンチマークを提供しています。 私たちの研究は、理解とアルゴリズム設計の明確な基盤を確立します。
• 参考スコア（独自算出の注目度）: 51.53039275043005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thanks to their remarkable flexibility, diffusion models and flow models have emerged as promising candidates for policy representation. However, efficient reinforcement learning (RL) upon these policies remains a challenge due to the lack of explicit log-probabilities for vanilla policy gradient estimators. While numerous attempts have been proposed to address this, the field lacks a unified perspective to reconcile these seemingly disparate methods, thus hampering ongoing development. In this paper, we bridge this gap by introducing a comprehensive taxonomy for RL algorithms with diffusion/flow policies. To support reproducibility and agile prototyping, we introduce a modular, JAX-based open-source codebase that leverages JIT-compilation for high-throughput training. Finally, we provide systematic and standardized benchmarks across Gym-Locomotion, DeepMind Control Suite, and IsaacLab, offering a rigorous side-by-side comparison of diffusion-based methods and guidance for practitioners to choose proper algorithms based on the application. Our work establishes a clear foundation for understanding and algorithm design, a high-efficiency toolkit for future research in the field, and an algorithmic guideline for practitioners in generative models and robotics. Our code is available at https://github.com/typoverflow/flow-rl.
• Abstract（参考訳）: その顕著な柔軟性のおかげで、拡散モデルとフローモデルは、ポリシー表現の有望な候補として現れています。 しかしながら、バニラ政策勾配推定器の明示的なログ確率の欠如により、これらのポリシーに対する効率的な強化学習(RL)は依然として課題である。 この問題に対処するための多くの試みが提案されているが、この分野は、これら異なるように見える手法を統一的に調整する視点を欠いているため、進行中の開発を妨げている。 本稿では,拡散/フローポリシを備えたRLアルゴリズムの包括分類を導入することにより,このギャップを埋める。 再現性とアジャイルプロトタイピングをサポートするため、高スループットのトレーニングにJITコンパイルを利用する、モジュール型のJAXベースのオープンソースコードベースを導入します。 最後に、Gym-Locomotion、DeepMind Control Suite、IsaacLabにまたがって体系的で標準化されたベンチマークを提供し、拡散ベースのメソッドの厳密な比較と、実践者がアプリケーションに基づいて適切なアルゴリズムを選択するためのガイダンスを提供する。 我々の研究は、理解とアルゴリズム設計のための明確な基盤を確立し、この分野における将来の研究のための高効率ツールキットと、生成モデルやロボット工学の実践者のためのアルゴリズムガイドラインを構築している。 私たちのコードはhttps://github.com/typoverflow/flow-rl.comで利用可能です。

関連論文リスト

• Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods [4.028503203417233]
  非微分可能報酬に対する離散拡散モデルを微調整するための、効率的で、広く適用でき、理論的に正当化されたポリシー勾配アルゴリズムを提案する。 複数の離散的生成タスクに対する数値実験により,本手法のスケーラビリティと効率性を実証した。
  論文  参考訳（メタデータ） (2025-02-03T14:20:19Z)
• Efficient Exploration in Deep Reinforcement Learning: A Novel Bayesian Actor-Critic Algorithm [0.195804735329484]
  強化学習(RL)と深層強化学習(DRL)は破壊する可能性があり、我々が世界と対話する方法を既に変えている。 適用可能性の重要な指標の1つは、実世界のシナリオでスケールして機能する能力である。
  論文  参考訳（メタデータ） (2024-08-19T14:50:48Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Learning Multimodal Behaviors from Scratch with Diffusion Policy Gradient [26.675822002049372]
  Deep Diffusion Policy Gradient (DDiffPG)は、マルチモーダルポリシーから学習する新しいアクター批判アルゴリズムである。 DDiffPGはマルチモーダルトレーニングバッチを形成し、モード固有のQ-ラーニングを使用して、RL目的の固有の欲求を緩和する。 さらに,本手法では,学習モードを明示的に制御するために,モード固有の埋め込みにポリシーを条件付けることができる。
  論文  参考訳（メタデータ） (2024-06-02T09:32:28Z)
• Don't Start from Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion [16.44141792109178]
  拡散モデルは、標準ガウスノイズから作用(あるいは状態)を拡散することでポリシーを形成することを学習する。 学習対象のポリシーはガウスとは大きく異なり、少数の拡散ステップを使用すると性能が低下する可能性がある。 提案手法は,情報ソースポリシーの利点を示す理論的結果,新しい方法,実証的な知見の両方に寄与する。
  論文  参考訳（メタデータ） (2024-02-25T12:19:21Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。