論文の概要: RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation
- arxiv url: http://arxiv.org/abs/2608.09226v1
- Date: Mon, 10 Aug 2026 07:49:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.132106
- Title: RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation
- Title(参考訳): RL-Native Distillation:Few-Step Image GenerationのためのScored Trajectoriesの爆発
- Abstract要約: 効率的なテキスト・ツー・イメージ生成には、強化学習(RL)ベースの報酬アライメントと数ステップの蒸留が必要である。
本稿では,REST (Reward-Enhanced Scored-Trajectory Distillation) を提案する。
私たちは、RESTが40ステップのRL教師と一致するか、または超えるCFGフリーな推論を可能にすることを示しています。
- 参考スコア(独自算出の注目度): 38.215412661414604
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Efficient text-to-image generation requires both reinforcement-learning (RL)-based reward alignment and few-step distillation, yet these procedures are typically performed sequentially, increasing training cost and risking the loss of reward gains during compression. We instead take an RL-native perspective: diffusion RL already generates reward-scored finite-step trajectories, whose intermediate states provide a natural source of distillation supervision rather than a disposable byproduct of sampling. Based on this insight, we propose REST (Reward-Enhanced Scored-Trajectory Distillation), a single-stage RL-distillation co-training framework that attaches a decoupled student to an arbitrary RL teacher. The student learns segment-wise from the teacher's evolving rollout trajectories while leaving the original teacher optimization unchanged. To prevent uniform imitation from preserving undesirable low-reward behaviors, we further introduce Advantage-Modulated Distillation (AMD), which transforms rollout advantages into signed weights over a base distillation loss. AMD strengthens supervision from preferred trajectories and mildly repels the student from low-reward ones. The resulting framework is lightweight and plug-and-play, requires no extra image rollouts, no separate distillation dataset, and no adversarial training. Experiments on compositional generation, visual text rendering, and human-preference alignment show that REST enables few-step CFG-free inference that matches or surpasses its 40-step RL teacher, with an overall additional training cost below 25% over pure RL. REST improves DrawBench PickScore over RTDMD by 0.82 while requiring only one-fifth of the training iterations.
- Abstract(参考訳): 効率的なテキスト・ツー・イメージ生成には、強化学習(RL)ベースの報酬アライメントと数ステップの蒸留の両方が必要であるが、これらの手順は典型的には順次実行され、訓練コストが増加し、圧縮中に報酬の利得を失うリスクがある。
拡散RLはすでに、その中間状態がサンプリングの使い捨て副産物というよりは、蒸留の自然な源となるような、報酬付き有限段階軌道を生成する。
この知見に基づいて,REST (Reward-Enhanced Scored-Trajectory Distillation) を提案する。
学生は、元の教師の最適化をそのまま残しながら、教師の進化するロールアウト軌跡からセグメントワイズを学習する。
また, 均一な模擬が望ましくない低反発挙動を防ぎ, さらに, ロールアウトの利点を基本蒸留損失よりも重み付けに変換するAdvantage-Modulated Distillation (AMD)を導入する。
AMDは、好みの軌跡からの監督を強化し、低報酬の生徒を軽視する。
結果として得られるフレームワークは軽量でプラグ&プレイで、追加のイメージロールアウト、別々の蒸留データセット、敵のトレーニングを必要としない。
コンポジション生成、ビジュアルテキストレンダリング、ヒューマン参照アライメントの実験によると、RESTは、純粋なRLよりも25%以下のトレーニングコストで、40ステップのRL教師にマッチまたは超えるCFGフリー推論を、数ステップで実現している。
RESTはRTDMDよりもDrawBench PickScoreを0.82改善し、トレーニングイテレーションの5分の1しか必要としない。
関連論文リスト
- Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2026-08-01T17:29:14Z) - Distilled Reinforcement Learning for LLM Post-training [8.435213882597546]
大規模言語モデル(LLM)のポストトレーニングは推論、適応、アライメントの改善に不可欠である。
既存の方法は、強化学習(RL)とオンライン蒸留(OPD)の2つのパラダイムに主に従っている。
本稿では,教師の指導をRL目標に統合し,詳細な指導を行う蒸留RL(Distilled Reinforcement Learning)を提案する。
論文 参考訳(メタデータ) (2026-07-19T13:32:54Z) - RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。
提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。
その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
論文 参考訳(メタデータ) (2026-04-13T15:38:09Z) - Diffusion Reinforcement Learning via Centered Reward Distillation [35.979608265594685]
フォワードプロセス微細チューニング上に構築されたKL正規化報酬モデルから導出した拡散RLフレームワークである textbf Reward Distillation (CRD) を提案する。
信頼性の高いテキスト・画像の微調整を可能にするため,分布のドリフトを明示的に制御する手法を提案する。
textttGenEval と textttOCR rewards によるテキスト・ツー・イメージのポストトレーニング実験では、競合する SOTA の報酬最適化が高速収束と報酬ハッキングの好みの低減をもたらすことが示された。
論文 参考訳(メタデータ) (2026-03-14T21:29:33Z) - Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。
既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。
本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文 参考訳(メタデータ) (2026-02-26T00:20:39Z) - Flash-DMD: Towards High-Fidelity Few-Step Image Generation with Efficient Distillation and Joint Reinforcement Learning [32.32567390728913]
拡散モデル(Diffusion Models)は、生成モデルの主要なクラスとして登場した。
タイムステップ蒸留は、生成を加速する有望な技術であるが、広範囲の訓練を必要とし、画質の劣化につながることが多い。
蒸留と共同RLによる精製による高速収束を実現する新しいフレームワークであるFlash-DMDを紹介する。
論文 参考訳(メタデータ) (2025-11-25T17:47:11Z) - Reinforcement Learning Teachers of Test Time Scaling [21.551446057221185]
LMを推論する主要なユースケースは、新しい学生を蒸留し、将来のRLイテレーションを冷静に開始する教師として機能することである。
我々は,RLの探究課題を回避するために,RLT(Reinforcement-Learned Teachers)の新たなクラスを育成する枠組みを導入する。
RLTは、各問題に対する質問と解決の両方で促され、生徒に合った詳細な説明で単に「接続する」ことを任務とする。
論文 参考訳(メタデータ) (2025-06-10T02:53:24Z) - Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards [52.90573877727541]
拡散モデル微調整では強化学習(RL)が検討されている。
RLの有効性はスパース報酬の挑戦によって制限される。
$textB2text-DiffuRL$は既存の最適化アルゴリズムと互換性がある。
論文 参考訳(メタデータ) (2025-03-14T09:45:19Z) - Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。
まず、回帰損失と高価なデータセット構築の必要性を排除します。
第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文 参考訳(メタデータ) (2024-05-23T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。