論文の概要: DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.12572v1
• Date: Thu, 08 Oct 2026 18:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.241638
• Title: DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
• Title（参考訳）: DiffusionART: 拡散モデルの効率的で安定的でスケーラブルな強化
• Abstract要約: ディフュージョンアートはタスク毎のチューニングなしで効率よく安定的に列車を運行する。 それぞれのプロンプトの報酬を、逆処理状態に対する共有報酬改善方向に集約する。 平均トレーニング報酬は28.8%、平均トレーニング報酬は53.0%である。
• 参考スコア（独自算出の注目度）: 32.19168992921772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning (RL) fine-tunes diffusion models with black-box rewards, but reverse-process methods such as Flow-GRPO are limited in efficiency by poor credit assignment, while forward-process methods such as DiffusionNFT are efficient yet unstable without carefully tuned exponential-moving-average (EMA) off-policy training. We show that NFT-style objectives contain a hidden forward--reverse consistency force that joint positive--negative training cancels only partially, and that EMA stabilizes training through restoration rather than off-policy rollouts. We introduce DiffusionART (Diffusion Reinforcement with Aggregation-First Reward Tilting), which aggregates each prompt's rewards into a shared reward-improving direction for reverse-process states, removing the consistency force by construction, and adds a trust-region-masked second update for drift-adaptive restoration without EMA tuning. It requires no differentiable reward model, remains effective with fewer samples per prompt, and supports pairwise reward models (DiffusionART-Pairwise). Across image and video generation, DiffusionART trains efficiently and stably without per-task tuning. In particular, on HunyuanVideo-13B with equally weighted visual and motion quality rewards, DiffusionART reaches the late-stage mean reward levels of DiffusionNFT and Flow-GRPO-Fast with 12.02 and 11.72 times fewer GPU hours, respectively, while achieving 28.8% and 53.0% higher mean training rewards.
• Abstract（参考訳）: ブラックボックス報酬を伴うオンライン強化学習(RL)ファインチューン拡散モデルでは,フロー-GRPOなどの逆処理手法は信用代入が不十分なため効率が悪く,DiffusionNFTのようなフォワードプロセス手法は,指数移動平均(EMA)オフポリシートレーニングを慎重に調整することなく,効率が良く不安定である。 我々は,NFTスタイルの目的が,共同正負のトレーニングが部分的にキャンセルされるような,隠れた前方逆整合力を含んでおり,EMAは外部のロールアウトではなく,修復によるトレーニングを安定化していることを示す。 そこで我々は,DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting)を導入し,各プロンプトの報酬を,逆処理状態に対する共有報酬改善方向に集約し,構成による整合性を排除し,EMAチューニングを使わずにドリフト順応する第2の更新を行う。 異なる報酬モデルは必要とせず、プロンプト毎にサンプルが少なくても有効であり、ペアワイズ報酬モデル(DiffusionART-Pairwise)をサポートしている。 画像とビデオ生成全体で、DiffusionARTはタスク単位のチューニングなしに効率よく安定的にトレーニングする。 特にHunyuanVideo-13Bでは、視覚的および運動的品質の報酬が等しく、DiffusionARTは、DiffusionNFTとFlow-GRPO-Fastの後期平均報酬レベルをそれぞれ12.02と11.72のGPU時間で達成し、平均トレーニング報酬は28.8%と53.0%に達した。

関連論文リスト

• Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
  RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。 自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。 本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T17:13:43Z)
• Diffusion-DRF: Differentiable Reward Flow for Video Diffusion Fine-Tuning [72.16213872139748]
  Diffusion-DRFは、微調整ビデオ拡散モデルのための微分可能な報酬フローである。 拡散縮退鎖を介してVLMフィードバックをバックプロパゲートする。 ビデオの品質とセマンティックアライメントを改善し、報酬のハッキングと崩壊を緩和する。
  論文  参考訳（メタデータ） (2026-01-07T18:05:08Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• A-FloPS: Accelerating Diffusion Sampling with Adaptive Flow Path Sampler [21.134678093577193]
  A-FloPSは、フローベースの生成モデルのための原則化された、トレーニング不要のフレームワークである。 A-FloPSは, 試料品質と効率の両面において, 最先端のトレーニング不要サンプリング器より一貫して優れていることを示す。 5ドルの関数評価で、A-FloPSはFIDを大幅に低くし、よりシャープでコヒーレントな画像を生成する。
  論文  参考訳（メタデータ） (2025-08-22T13:28:16Z)
• REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers [52.55041244336767]
  従来のディープラーニングの知恵は、エンド・ツー・エンドのトレーニングが可能な限り望ましいと判断する。 遅延拡散変換器では,標準拡散損失を用いたVAEと拡散モデルの両方のエンドツーエンドトレーニングが有効でないことが観察された。 拡散損失は非効率であるが,表現アライメント(REPA)の損失によってエンドツーエンドのトレーニングをアンロックできることが示されている。
  論文  参考訳（メタデータ） (2025-04-14T17:59:53Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。