Fugu-MT 論文翻訳(概要): Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

論文の概要: Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

arxiv url: http://arxiv.org/abs/2406.04314v1
Date: Thu, 6 Jun 2024 17:57:09 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 13:20:51.352187
Title: Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step
Title（参考訳）: ステップ対応の優先度最適化:各ステップでパフォーマンスを判断して優先度を調整する
Authors: Zhanhao Liang, Yuhui Yuan, Shuyang Gu, Bohan Chen, Tiankai Hang, Ji Li, Liang Zheng,
Abstract要約: テキストと画像の拡散モデルと人間の好みを一致させるためのステップアウェア優先最適化(SPO)を提案する。 SPOは、ステップ認識選好モデルとステップワイズリサンプラーを用いて、各ステップにおける復調性能を独立して評価し、調整する。安定拡散v1.5およびSDXLによる実験により,SPOは最新の拡散DPOよりも著しく優れていることが示された。
参考スコア（独自算出の注目度）: 21.590321176541675
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/
Abstract（参考訳）: 近年、DPO(Direct Preference Optimization)は、大きな言語モデル(LLM)の整合化から、テキストと画像の拡散モデルと人間の嗜好の整合化まで、その成功を拡大している。全ての拡散ステップが最終生成画像と一貫した選好順序を持つと仮定する既存のDPO法とは異なり、この仮定はステップ固有の演能性能を無視し、各ステップの寄与に合わせて選好ラベルを調整すべきであると主張する。この制限に対処するため,ステップアウェア優先最適化 (SPO) を提案する。ステップアウェア優先モデルとステップワイズ・リサンプラーを用いて,ステップアウェア適応を独立に評価・調整し,正確なステップアウェア監視を実現する新しいポストトレーニング手法である。具体的には、各デノイングステップにおいて、画像のプールをサンプリングし、適切なウィンローペアを見つけ、そして最も重要なことは、プールから1つのイメージをランダムに選択して次のデノージングステップを初期化することである。このステップワイズ再サンプリングプロセスは、次のウィンロー画像対が同じ画像から来ることを保証し、ウィンロー画像対が前のステップに依存しないようにする。各ステップの嗜好を評価するため、ノイズとクリーンな画像の両方に適用可能なステップ認識選好モデルをトレーニングする。安定拡散v1.5およびSDXLを用いた実験により、SPOは、より複雑で詳細なプロンプトと美学の強化と、トレーニング効率の20倍以上の速さで、生成した画像の整列において、最新の拡散DPOを著しく上回っていることが示された。コードとモデル:https://rockeycoss.github.io/spo.github.io/

関連論文リスト

Beta Sampling is All You Need: Efficient Image Generation Strategy for Diffusion Models using Stepwise Spectral Analysis [22.02829139522153]
拡散過程の画像スペクトル解析に基づく効率的な時間ステップサンプリング法を提案する。従来の均一分布に基づく時間ステップサンプリングの代わりに,ベータ分布のようなサンプリング手法を導入する。我々の仮説では、あるステップは画像の内容に大きな変化を示すが、他のステップは最小限に寄与する。
論文参考訳（メタデータ） (2024-07-16T20:53:06Z)
Multistep Distillation of Diffusion Models via Moment Matching [29.235113968156433]
本稿では,拡散モデルをより高速にサンプル化するための新しい手法を提案する。本手法は,クリーンデータの条件付き期待値に適合して,多段階拡散モデルを数段階モデルに蒸留する。我々は、Imagenetデータセット上で、最先端の新たな結果を得る。
論文参考訳（メタデータ） (2024-06-06T14:20:21Z)
Directly Denoising Diffusion Models [6.109141407163027]
数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
論文参考訳（メタデータ） (2024-05-22T11:20:32Z)
Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
論文参考訳（メタデータ） (2024-04-22T18:18:41Z)
Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
論文参考訳（メタデータ） (2024-02-27T10:13:30Z)
AdaDiff: Adaptive Step Selection for Fast Diffusion [88.8198344514677]
我々は、インスタンス固有のステップ利用ポリシーを学ぶために設計されたフレームワークであるAdaDiffを紹介する。 AdaDiffはポリシー勾配法を用いて最適化され、慎重に設計された報酬関数を最大化する。提案手法は,固定された50ステップを用いて,ベースラインと比較して視覚的品質の点で同様の結果が得られる。
論文参考訳（メタデータ） (2023-11-24T11:20:38Z)
Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
論文参考訳（メタデータ） (2023-10-14T02:19:07Z)
AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration [57.846038404893626]
本稿では,拡散モデルに対する効率的な画像生成を実現するために,最適な時間ステップシーケンスと圧縮モデルアーキテクチャを統一されたフレームワークで探索することを提案する。実験結果から,ImageNet 64$times$64の17.86 FIDスコアとDDIMの138.66の4ステップのFIDスコアを用いると,優れた性能が得られることがわかった。
論文参考訳（メタデータ） (2023-09-19T08:57:24Z)
Score Priors Guided Deep Variational Inference for Unsupervised Real-World Single Image Denoising [14.486289176696438]
本稿では,実世界の実演のためのスコア先行誘導深部変分推論,すなわちScoreDVIを提案する。我々は、実世界の雑音をモデル化するために、非i.i.d$ガウス混合モデルと変分ノイズ後部モデルを利用する。提案手法は,他の単一画像ベースの実世界のデノベーション手法よりも優れ,データセットベースの教師なし手法に匹敵する性能を実現する。
論文参考訳（メタデータ） (2023-08-09T03:26:58Z)
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。モデルに基づく手続きが雑音勾配設定に収束することを証明する。これは自己チューニング二次体を構築するための興味深いステップである。
論文参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。