論文の概要: Reinforcement Learning-driven Diffusion Models: Language, Vision, and Beyond

• arxiv url: http://arxiv.org/abs/2610.21539v1
• Date: Thu, 15 Oct 2026 09:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.015375
• Title: Reinforcement Learning-driven Diffusion Models: Language, Vision, and Beyond
• Title（参考訳）: 強化学習駆動拡散モデル:言語、ビジョン、そしてそれ以上
• Abstract要約: 拡散モデル(DM)は、多種多様なシナリオにわたる高忠実で制御可能な生成において、顕著な性能を着実に証明している。 本稿では、RL駆動型DMの総合的なレビューと、RLが体験中心生成への拡散過程をどう再評価するかを実証分析する。 RL駆動型DMの現実的な展開を妨げる3つの重要なボトルネックを明らかにし、解明する。
• 参考スコア（独自算出の注目度）: 99.6393677773698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models (DMs) have steadily demonstrated outstanding performance in high-fidelity, controllable generation across diverse scenarios, following the "pretraining-finetuning" paradigm established in LLMs. Despite these advances, conventional DMs still face critical limitations in sophisticated reasoning, autonomous exploration of generation pathways, and adaptability to complex, human-aligned objectives. Inspired by RLHF's success in LLMs, RL has recently emerged as a pivotal post-training mechanism to iteratively refine DMs through reward-driven trajectory optimization. This paper presents the first comprehensive review of RL-driven DMs and an empirical analysis of how RL reshapes the diffusion process towards experience-centric, goal-directed generation. We propose a novel technical panorama elucidating RL's multifaceted roles in diffusion-based language, multimodal, robotic, and scientific models, with a granular focus on diffusion trajectory optimization and reward engineering. Through extensive experiments on multiple task-specific benchmarks, we systematically evaluate representative methods to intuitively highlight the advantages of different RL post-training strategies. Furthermore, we reveal and dissect three crucial bottlenecks that currently hinder the real-world deployment of RL-driven DMs: reward design fragility, exploration-exploitation trade-off in high-dimensional generation spaces, and training instability under sparse rewards. Based on these perspectives, we provide a principled roadmap for the integration of RL into DMs and outline promising future research directions for robust, interpretable RL-diffusion systems. We also construct a public repository to continuously track the latest developments in this rapidly evolving field: https://github.com/MAIR-Lab-HUST/Awesome-RL-for-Diffusion-Models.
• Abstract（参考訳）: 拡散モデル(DM)は、LLMで確立された「事前学習」パラダイムに従って、多種多様なシナリオにまたがる高忠実で制御可能な生成において、顕著な性能を着実に証明している。 これらの進歩にもかかわらず、従来のDMは、洗練された推論、生成経路の自律的な探索、複雑で人間と協調した目的への適応性において重要な制限に直面している。 LLMにおけるRLHFの成功に触発されて、RLは報酬駆動軌道最適化を通じてDMを反復的に洗練するための重要な後訓練機構として最近登場した。 本稿では、RL駆動型DMの総合的なレビューと、RLが体験中心のゴール指向生成への拡散過程をどう評価するかを実証分析する。 本稿では,RLの拡散型言語,マルチモーダル,ロボット,科学モデルにおける多面的役割を解明する新しい技術パノラマを提案し,拡散軌道最適化と報酬工学に焦点をあてる。 複数のタスク固有のベンチマークに関する広範な実験を通じて、様々なRLポストトレーニング戦略の利点を直感的に強調する代表的手法を体系的に評価する。 さらに,RL駆動型DMの現実的な展開を妨げる3つの重要なボトルネックを明らかにする。 これらの観点から、RLをDMに統合するための原則的なロードマップを提供し、ロバストで解釈可能なRL拡散システムのための将来的な研究方向を概説する。 また、この急速に発展している分野における最新の開発を継続的に追跡するために、パブリックリポジトリを構築します。

関連論文リスト

• CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models [6.8972897741460315]
  本稿では,カリキュラム誘導拡散RLフレームワークCanvasAnnealを紹介する。 初回RL期には,教師が生成した推論トレースを拡散キャンバスに注入することにより,ウォームスタート探索を行う。 トレーニングが進むにつれて、このガイダンスを徐々に取り除き、モデルが独立して推論軌道を生成する必要がある。
  論文  参考訳（メタデータ） (2026-09-11T16:59:52Z)
• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• Diffusion Models for Reinforcement Learning: Foundations, Taxonomy, and Development [32.14985932997508]
  拡散モデル(DM)は強化学習(RL)の重要な利点を提供する このサーベイは拡散に基づくRLの包括的かつ最新の合成を提供する。
  論文  参考訳（メタデータ） (2025-10-14T08:03:46Z)
• Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
  本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。 我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
  論文  参考訳（メタデータ） (2025-07-17T14:22:24Z)
• Reinforced MLLM: A Survey on RL-Based Reasoning in Multimodal Large Language Models [22.796496516709514]
  本稿では,Multimodal Large Language Models(MLLM)における強化学習(RL)に基づく推論の最近の進歩を体系的にレビューする。 本稿では,2つの主要なRLパラダイム,値モデルフリーおよび値モデルベース手法に注目し,推論軌道の最適化とマルチモーダル情報の整合化により,RLが推論能力を高める方法を分析する。 本稿では,ベンチマークデータセット,評価プロトコル,現在の制限について概観し,スパース報酬,非効率なクロスモーダル推論,実世界の展開制約といった課題に対処するための今後の研究方向を提案する。
  論文  参考訳（メタデータ） (2025-04-30T03:14:28Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Diffusion Models for Reinforcement Learning: A Survey [22.670096541841325]
  拡散モデルは、サンプルの品質と訓練安定性において、以前の生成モデルを上回る。 最近の研究は、強化学習(RL)ソリューションの改善における拡散モデルの利点を示している。 この調査は、この新興分野の概要を提供し、新たな研究の道のりを刺激することを目的としている。
  論文  参考訳（メタデータ） (2023-11-02T13:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。