論文の概要: Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance

• arxiv url: http://arxiv.org/abs/2602.18799v1
• Date: Sat, 21 Feb 2026 11:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.319864
• Title: Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance
• Title（参考訳）: クラス化自由誘導を用いた拡散モデルにおける選好アライメントの再考
• Authors: Zhou Jiang, Yandong Wen, Zhen Liu,
• Abstract要約: ベースモデルを再訓練することなくアライメントを改善する簡単な手法を提案する。 一般化をさらに高めるため、選好学習を正と負のデータに基づいて訓練された2つのモジュールに分離する。 我々はPick-a-Pic v2およびHPDv3を用いた安定拡散1.5および安定拡散XLの評価を行い、一貫した定量的および定性的な利得を示した。
• 参考スコア（独自算出の注目度）: 8.038055165320195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large-scale text-to-image diffusion models with nuanced human preferences remains challenging. While direct preference optimization (DPO) is simple and effective, large-scale finetuning often shows a generalization gap. We take inspiration from test-time guidance and cast preference alignment as classifier-free guidance (CFG): a finetuned preference model acts as an external control signal during sampling. Building on this view, we propose a simple method that improves alignment without retraining the base model. To further enhance generalization, we decouple preference learning into two modules trained on positive and negative data, respectively, and form a \emph{contrastive guidance} vector at inference by subtracting their predictions (positive minus negative), scaled by a user-chosen strength and added to the base prediction at each step. This yields a sharper and controllable alignment signal. We evaluate on Stable Diffusion 1.5 and Stable Diffusion XL with Pick-a-Pic v2 and HPDv3, showing consistent quantitative and qualitative gains.
• Abstract（参考訳）: 人間の好みを微調整した大規模テキスト・画像拡散モデルの調整はいまだに困難である。 直接選好最適化(DPO)は単純かつ効果的であるが、大規模微調整はしばしば一般化のギャップを示す。 我々は,テストタイムガイダンスとキャスト選好アライメントからインスピレーションを得て,サンプリング時に外部制御信号として機能する微調整選好モデル(CFG)を開発した。 この観点から,ベースモデルの再学習を伴わずにアライメントを改善する簡単な手法を提案する。 一般化をさらに進めるために、我々は、それぞれ正と負のデータに基づいて訓練された2つのモジュールに選好学習を分離し、その予測(正のマイナス)を減じて推論時に \emph{contrastive guidance} ベクトルを形成し、各ステップでベース予測に付加する。 これにより、よりシャープで制御可能なアライメント信号が得られる。 我々はPick-a-Pic v2およびHPDv3を用いた安定拡散1.5および安定拡散XLの評価を行い、一貫した定量的および定性的な利得を示した。

関連論文リスト

• Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning [27.33241821967005]
  本稿では,PMC(Preference Mode Collapse)を緩和する新しいフレームワークを提案する。 D$2$-Alignは、人間の好みと優れた整合性を達成する。
  論文  参考訳（メタデータ） (2025-12-30T11:17:52Z)
• PC-Diffusion: Aligning Diffusion Models with Human Preferences via Preference Classifier [36.21450058652141]
  拡散モデル(PC拡散)における人間の嗜好アライメントのための新しい枠組みを提案する。 PC-Diffusionは軽量でトレーニング可能なPreferenceを使用して、サンプル間の相対的な嗜好を直接モデル化する。 そこで,PC-Diffusion は DPO に匹敵する選好整合性を実現し,トレーニングコストを大幅に削減し,効率の良い選好誘導生成を可能にすることを示す。
  論文  参考訳（メタデータ） (2025-11-11T03:53:06Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Multi-Preference Lambda-weighted Listwise DPO for Small-Scale Model Alignment [5.276657230880984]
  大規模言語モデル(LLM)は、幅広い言語タスクに対して強力な一般化を示すが、しばしば人間の好みに反する出力を生成する。 直接最適化選好(DPO)は、二項選好対に対する分類タスクとしてアライメントを扱い、プロセスを単純化する。 我々は、より詳細な人間のフィードバックからモデルを学習できるマルチパラメータLambda-weighted Listwise DPOを提案する。 本手法は, 実世界の展開に適した効率, 制御可能, きめ細かな適応を実現しつつ, 標準DPOのアライメント性能を常に向上させる。
  論文  参考訳（メタデータ） (2025-06-24T16:47:17Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Diffusion-NPO: Negative Preference Optimization for Better Preference Aligned Generation of Diffusion Models [32.586647934400105]
  既存の選好アライメント手法は、無条件/負条件の出力を扱う重要な役割を欠いていると論じる。 我々は、ネガティブな嗜好に特化して訓練されたモデルを訓練する、単純だが汎用的な効果的なアプローチを提案する。 提案手法は,SD1.5,SDXL,動画拡散モデル,選好最適化モデルなどのモデルとシームレスに統合する。
  論文  参考訳（メタデータ） (2025-05-16T13:38:23Z)
• ADT: Tuning Diffusion Models with Adversarial Supervision [16.974169058917443]
  拡散モデルは、真のデータ分布を近似するために前方ノイズ発生過程を反転させることで、優れた画像生成を実現している。 本稿では、最適化中の推論プロセスを刺激し、最終的な出力をトレーニングデータと整合させるために、Adrial Diffusion Tuning (ADT)を提案する。 ADTは、固定されたトレーニング済みのバックボーンと軽量なトレーニング可能なパラメータを備えたシアム-ネットワーク識別器を備えている。
  論文  参考訳（メタデータ） (2025-04-15T17:37:50Z)
• Refining Alignment Framework for Diffusion Models with Intermediate-Step Preference Ranking [50.325021634589596]
  拡散モデルと人間の嗜好を整合させるためのTalored Optimization Preference(TailorPO)フレームワークを提案する。 提案手法は,ステップワイド報酬に基づいて,中間雑音のサンプルを直接ランク付けし,勾配方向の問題を効果的に解決する。 実験結果から,本手法は審美的,人為的な画像生成能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-02-01T16:08:43Z)
• Diffusion Model Alignment Using Direct Preference Optimization [103.2238655827797]
  拡散DPOは,ヒトの比較データを直接最適化することにより,拡散モデルを人間の嗜好に合わせる手法である。 拡散DPOを用いた最先端安定拡散XL(SDXL)-1.0モデルの基礎モデルを微調整する。 また、AIフィードバックを使用し、人間の好みのトレーニングに匹敵するパフォーマンスを持つ亜種も開発しています。
  論文  参考訳（メタデータ） (2023-11-21T15:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。