論文の概要: DualHeads: Reward-tilted few-step diffusion made simple

• arxiv url: http://arxiv.org/abs/2610.28858v1
• Date: Tue, 20 Oct 2026 19:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.134241
• Title: DualHeads: Reward-tilted few-step diffusion made simple
• Title（参考訳）: DualHeads: Reward-tilted few-step diffusion made simple
• Abstract要約: 蒸留拡散モデルでは、いくつかのサンプリングステップで高品質な画像を生成するが、それらをタスク要求と整合させることは困難である。 凍結拡散バックボーン上に軽量なヘッドとして実装したDualHeadsを提案する。 ルールベースとモデルベースの両方の報酬により、数ステップのDualHeadsジェネレータは40ステップの強化学習手法に近いタスク報酬に達する。
• 参考スコア（独自算出の注目度）: 31.64977512299996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distilled diffusion models generate high-quality images in a few sampling steps, but aligning them with task requirements and human preferences is difficult. Methods developed for multi-step diffusion models rely on differentiable rewards, or on score fields and stochastic trajectories that distilled generators may lack. We ask whether a few-step generator can be adapted using only external reward evaluations and reference samples, and show that two binary classifiers suffice. Our method, DualHeads, implements them as lightweight heads on a frozen diffusion backbone. The reward head learns which samples of the same prompt score higher, the reference head separates reference images from generated ones, and the generator maximizes a weighted sum of their logits. When the heads are optimal, this objective is KL-regularized maximization of the learned reward, and the ratio of head weights sets the regularization strength. Empirically, with both rule-based and model-based rewards, a few-step DualHeads generator reaches task rewards close to those of 40-step reinforcement learning methods while preserving image quality, at no extra inference cost. We hope that this simple and elegant dual-head formulation will help advance few-step reward-tilted generation.
• Abstract（参考訳）: 蒸留拡散モデルでは、いくつかのサンプリングステップで高品質な画像を生成するが、それらをタスク要求と整合させることは困難である。 多段階拡散モデルのために開発された手法は、微分可能な報酬や、蒸留した発電機が欠落する可能性のあるスコア場や確率軌道に依存している。 外部報酬評価と参照サンプルのみを用いて、数ステップのジェネレータを適用できるかどうかを問うとともに、2つのバイナリ分類器が十分であることを示す。 我々の方法であるDualHeadsは、凍結拡散バックボーン上に軽量なヘッドとして実装する。 報酬ヘッドは、同じプロンプトスコアのどのサンプルを高くするかを学習し、基準ヘッドは、生成されたものから参照画像を分離し、ジェネレータは、それらのロジットの重み付け和を最大化する。 頭部が最適であれば、この目的は学習した報酬の最大化KL正規化であり、頭部重量比は正規化強度を設定する。 経験的に、ルールベースとモデルベースの両方の報酬で、数ステップのDualHeadsジェネレータは、40ステップの強化学習手法に近いタスク報酬を得られる。 このシンプルでエレガントなデュアルヘッドの定式化が、数ステップの報酬タイト世代を前進させることを期待している。

関連論文リスト

• IDRF: Inverse-Distilled Reward Fine-tuning of Masked Discrete Diffusion Models [65.81561972026121]
  マスク付き離散拡散モデルは自己回帰生成に代わる有望な選択肢を提供する。 数ステップのマスク付き離散拡散発生器の微調整を行うためのフレームワークIDRFを紹介する。 DNA、画像、テキスト生成全体にわたって、IDRFは、参照よりも高い報酬を最大32倍のデノイングステップで達成している。
  論文  参考訳（メタデータ） (2026-10-02T17:29:22Z)
• Visualizing Distribution Coverage in Generative Diffusion Models [55.20970915558567]
  拡散蒸留はサンプリングを加速するために広く採用されており、結果として得られる数段階のモデルが、世代ごとの多段階の教師と一致するか、さらに上回っていると広く信じられている。 textbfpass@$mathbfk$を使って、蒸留されたモデルが教師に本当に合うかどうかを再検討する。
  論文  参考訳（メタデータ） (2026-09-30T03:11:13Z)
• Simple Diffusion Language Models Are More Effective Few-Step Generators Than Reported [13.041288521972563]
  拡散言語モデル (DLMs) は高速な並列生成を約束するが、高品質なサンプルは多くの場合、多くの改良ステップを必要とする。 少数のステップで想定される品質ギャップの多くは、代わりに、サブ最適化されたサンプルラから生じます。
  論文  参考訳（メタデータ） (2026-09-27T21:42:33Z)
• Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching [36.00855152229835]
  本稿では,分散マッチングに基づく統合された単一ステージ最適化フレームワークを提案する。 標準的なDMフレームワークでは、蒸留は、実際のモデルと偽モデルのギャップを最小限に抑える勾配方向を通してモデルを更新する。 DM-Alignを導入し, モデルから人間の好むサンプルを導出するために, 相補的な勾配方向を導出する。
  論文  参考訳（メタデータ） (2026-09-03T04:46:46Z)
• Are we really tilting? The mechanics of reward guidance in flow and diffusion models [1.4064491732635236]
  逆誘導アルゴリズムは、学習した生成過程を推論時に報奨型尺度に導出する。 経験的に強力だが、これらの手法はハッキングに報いる傾向にある。 報酬誘導拡散の最も実践的な実装における近似から報奨ハッキングが発生することを示す。
  論文  参考訳（メタデータ） (2026-06-01T20:56:24Z)
• Di$\mathtt{[M]}$O: Distilling Masked Diffusion Models into One-step Generator [22.88494918435088]
  Masked Diffusion Models (MDM) は強力な生成モデリング手法として登場した。 マスク拡散モデルを1ステップ生成器に蒸留する新しい手法であるDi$mathtt[M]$Oを提案する。 クラス条件およびテキスト条件画像生成におけるDi$mathtt[M]$Oの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-19T17:36:54Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。