論文の概要: FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.08240v1
- Date: Thu, 05 Nov 2026 16:19:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.575393
- Title: FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
- Title（参考訳）: FewStepRL:強化学習を用いた微調整Few-step拡散モデル
- Abstract要約: 強化学習(Reinforcement Learning, RL)は拡散モデルの標準的なポストトレーニング手法となっているが、ほとんどのRLの目的は、イテレーション毎に現在のポリシーをロールアウトする。
数ステップのモデルでは、このコストを削減できるが、各ステップの平均速度を1インターバルでモデル化する一方、既存のRLの目標は、多数のステップのサンプリング装置で即時速度のために構築されている。
我々はRLの目的を3つのフェーズ,すなわち変換,分解,適応という,数段階のモデルに体系的に適応する。
- 参考スコア（独自算出の注目度）: 29.648749849365103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) has become a standard post-training method for diffusion models, but most RL objectives roll out the current policy at every iteration, and with a many-step sampler these rollouts typically dominate the cost of training. Few-step models cut this cost, yet they model an average velocity over an interval, whereas existing RL objectives are built for an instantaneous velocity with a many-step sampler. We adapt RL objectives to few-step models systematically in three phases, namely a transformation, a decomposition and an adaptation. The transformation to $x$-space expresses each objective we consider through a common policy prediction, at the clean end by default and at an explicitly marked level for transition or flow-map objectives, so that objectives stated over densities, velocities or rewards become comparable. The decomposition writes the gradient of each of these objectives as the sum of a self-regression toward a reference and a reward augmentation, so that a method reduces, at the gradient level, to a choice of anchors and weights. The adaptation computes each anchor from a few-step model at the end of its transport or along its tangent, with the instantaneous velocity recovered from the network itself or from an auxiliary network. This yields few-step versions of FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD and ReFL in one modular codebase. In our experiments, reward-gradient-based methods are the most effective when the reward is differentiable and its gradient is affordable; otherwise DiffusionNFT-style methods generally reach high rewards in relatively few iterations despite a sometimes higher per-iteration cost. Extra inference steps show no systematic aggregate benefit in our experiments, although selected outputs visibly improve with two to four times as many sampling steps as in training.
- Abstract（参考訳）: 強化学習 (Reinforcement Learning, RL) は拡散モデルの標準訓練手法となっているが、ほとんどのRLの目的は、各イテレーションで現在のポリシーをロールアウトし、多くのステップのサンプルラでは、これらのロールアウトがトレーニングのコストを支配している。
数ステップのモデルでは、このコストを削減できるが、各ステップの平均速度を1インターバルでモデル化する一方、既存のRLの目標は、多数のステップのサンプリング装置で即時速度のために構築されている。
我々はRLの目的を3つのフェーズ,すなわち変換,分解,適応という,数段階のモデルに体系的に適応する。
x$-spaceへの変換は、共通のポリシー予測、デフォルトではクリーンエンドで、トランジションやフローマップの目的に対して明示的にマークされたレベルで、考慮すべき目的を表現します。
分解は、それぞれの目的の勾配を、基準に対する自己回帰の和と報酬増大の和として記述するので、勾配レベルでは、アンカーとウェイトの選択に還元する。
適応は、各アンカーを、輸送の終端またはその接点に沿った数ステップのモデルから計算し、ネットワーク自身または補助ネットワークから即時速度を復元する。
これにより、FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD、ReFLのいくつかの段階バージョンが1つのモジュールコードベースで生成される。
実験では、報酬が微分可能であり、その勾配が安価である場合、報酬段階に基づく手法が最も効果的である。
予備推論のステップは, 実験の体系的な集合的利益を示すものではないが, 選択された出力は, トレーニングの2倍から4倍のサンプリングステップで視覚的に改善する。
関連論文リスト
- Score-Calibrated Flow for Sampling from Unnormalized Densities with Applications to Generative Online Reinforcement Learning [24.094379447340696]
拡散流モデルとフローモデルはオンライン強化学習(RL)のための表現型ポリシークラスを提供する
本研究では,非正規化密度から標本化するための生成モデルの簡易かつ効率的な学習アルゴリズムであるScore-Calibrated Flow (SCF)を提案する。
RLベンチマークの実験は、SCFが最先端のジェネレーティブ・ポリティクス・ベースラインと一致または改善することを示した。
論文 参考訳（メタデータ） (2026-10-03T18:18:48Z) - Accelerating Video Diffusion via Training-Free Trajectory Routing [16.936373458778892]
ビデオ拡散は計算コストがかかるため、多くのデノナイジングステップで大きなモデルを実行する必要がある。
TRACK: TRajectory-Aware Capacity routing via top-K selection, an heterogeneous denoising strategy。
TRACKは、選択されたステップで互換性のある大小モデルの切り替えを行う。
論文 参考訳（メタデータ） (2026-09-24T16:39:47Z) - Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。
自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。
本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
論文 参考訳（メタデータ） (2026-08-24T17:13:43Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models [14.588291638328329]
TraFLは、凍結参照モデルに固定された報酬型ターゲット分布に対するポリシーを訓練する軌道バランスの目標である。
拡散互換のシーケンスレベルサロゲートと学習したプロンプト依存正規化を備えた拡散言語モデルに対して、これを実用的なものにする。
論文 参考訳（メタデータ） (2026-05-13T16:14:46Z) - AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation [70.80207977907908]
フローマップをベースとした,最初のノンステップビデオ拡散蒸留フレームワークであるAnyFlowを紹介した。
我々は、AnyFlowがいくつかの段階において、パフォーマンスの一致を達成するか、一貫性ベースの結果を上回ることを示す。
論文 参考訳（メタデータ） (2026-05-13T16:06:34Z) - One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。
我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
論文 参考訳（メタデータ） (2026-05-12T08:29:44Z) - Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design [45.80068602880684]
本稿では,政策段階の目標,可能性推定器,ロールアウトサンプリングスキームの3つの要因を解消し,RL設計空間を体系的に解析する。
最終生成標本からのみ計算されるエビデンス低境界モデル推定器(ELBO)を採用することが,有効,効率的,安定なRL最適化を実現する主要な要因であることを示す。
論文 参考訳（メタデータ） (2026-02-04T15:36:42Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。