Fugu-MT 論文翻訳(概要): Stitched Value Model for Diffusion Alignment

論文の概要: Stitched Value Model for Diffusion Alignment

arxiv url: http://arxiv.org/abs/2605.19804v1
Date: Tue, 19 May 2026 13:02:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-20 15:03:09.353754
Title: Stitched Value Model for Diffusion Alignment
Title（参考訳）: 拡散アライメントのための安定値モデル
Authors: Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler,
Abstract要約: 拡散またはフローベースの生成モデルは、即興の忠実さや美的嗜好など、タスク固有の報酬と整合していなければならない。本稿では、クリーンな画像のために事前訓練された報酬モデルをノイズの多い潜伏状態に効率的に転送するモデル縫合フレームワークであるStitchVMを提案する。提案手法は,下流のステアリングおよびポストトレーニング手法の幅広い改善をもたらすことを示す。
参考スコア（独自算出の注目度）: 76.52330634059528
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For practical use, diffusion- or flow-based generative models must be aligned with task-specific rewards, such as prompt fidelity or aesthetic preference. That alignment is challenging because the reward is defined for clean output images, but the alignment procedure requires value function estimates at noisy intermediate latents. Existing methods resort to Tweedie-style or Monte Carlo approximations, trading off estimator bias against computational cost: Tweedie estimates are efficient but biased, while Monte Carlo estimates are more accurate but require expensive rollouts. A natural alternative would be a learned value function, but it remains an open question how to effectively train a strong and general value model specifically for noisy latents. Here, we propose StitchVM, a model stitching framework that efficiently transfers reward models pretrained for clean images to the noisy latent regime. StitchVM starts from an existing, truncated pixel-space reward model and attaches a frozen diffusion backbone to it as its head. From the pixel-space model, the resulting hybrid retains a carefully pretrained, robust reward capability; from the diffusion backbone, it inherits its native ability to handle noisy latents. The stitching procedure is exceptionally lightweight, e.g., stitching and finetuning CLIP ViT-L and SD 3.5 Medium takes only 10 GPU-hours. By lifting powerful pixel-space reward models to latent space, StitchVM opens up a new style of diffusion alignment: instead of rough, yet costly per-sample approximation of the value function, the correct function for the actual, noisy latents is constructed once and then amortized over many samples and iterations. We show that this approach yields improvements across a broad range of downstream steering and post-training methods: DPS becomes $3.2\times$ faster while halving peak GPU memory, and DiffusionNFT becomes $2.3\times$ faster.
Abstract（参考訳）: 実用のためには、拡散またはフローベースの生成モデルは、即興の忠実さや美的嗜好のようなタスク固有の報酬と整合する必要がある。このアライメントは、クリーンな出力画像に対して報酬が定義されるため難しいが、アライメント手順はノイズのある中間潜時における値関数の推定を必要とする。 Tweedieの推定は効率的だがバイアスがあり、Monte Carloの推定はより正確だが高価なロールアウトを必要とする。自然な選択肢は、学習された値関数であるが、ノイズの多い潜伏者のために、強力で一般的な値モデルを効果的に訓練する方法は、未解決のままである。本稿では、クリーンな画像のために事前訓練された報酬モデルをノイズの多い潜伏状態に効率的に転送するモデル縫合フレームワークであるStitchVMを提案する。 StitchVMは、既存の、切り捨てられたピクセル空間の報酬モデルから始まり、凍結した拡散バックボーンをヘッドとしてアタッチする。ピクセル空間モデルから得られるハイブリッドは、慎重に事前訓練された頑健な報酬能力を保持し、拡散バックボーンからノイズの多い潜伏者を扱うネイティブな能力を継承する。縫合手順は非常に軽量で、例えば縫合や微調整を行うCLIP ViT-LとSD 3.5 Mediumは10GPU時間しかかからない。強力なピクセル空間の報酬モデルを潜在空間に持ち上げることで、StitchVMは新たな拡散アライメントのスタイルを開放する。 DPSはピークGPUメモリを半減させながら3.2\times$速くなり、DiffusionNFTは2.3\times$速くなります。

論文の概要: Stitched Value Model for Diffusion Alignment

関連論文リスト