Fugu-MT 論文翻訳(概要): Calibrated Multi-Preference Optimization for Aligning Diffusion Models

論文の概要: Calibrated Multi-Preference Optimization for Aligning Diffusion Models

arxiv url: http://arxiv.org/abs/2502.02588v1
Date: Tue, 04 Feb 2025 18:59:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 14:58:49.930790
Title: Calibrated Multi-Preference Optimization for Aligning Diffusion Models
Title（参考訳）: 配向拡散モデルに対する校正多重パラメータ最適化
Authors: Kyungmin Lee, Xiaohang Li, Qifei Wang, Junfeng He, Junjie Ke, Ming-Hsuan Yang, Irfan Essa, Jinwoo Shin, Feng Yang, Yinxiao Li,
Abstract要約: Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
参考スコア（独自算出の注目度）: 92.90660301195396
License:
Abstract: Aligning text-to-image (T2I) diffusion models with preference optimization is valuable for human-annotated datasets, but the heavy cost of manual data collection limits scalability. Using reward models offers an alternative, however, current preference optimization methods fall short in exploiting the rich information, as they only consider pairwise preference distribution. Furthermore, they lack generalization to multi-preference scenarios and struggle to handle inconsistencies between rewards. To address this, we present Calibrated Preference Optimization (CaPO), a novel method to align T2I diffusion models by incorporating the general preference from multiple reward models without human annotated data. The core of our approach involves a reward calibration method to approximate the general preference by computing the expected win-rate against the samples generated by the pretrained models. Additionally, we propose a frontier-based pair selection method that effectively manages the multi-preference distribution by selecting pairs from Pareto frontiers. Finally, we use regression loss to fine-tune diffusion models to match the difference between calibrated rewards of a selected pair. Experimental results show that CaPO consistently outperforms prior methods, such as Direct Preference Optimization (DPO), in both single and multi-reward settings validated by evaluation on T2I benchmarks, including GenEval and T2I-Compbench.
Abstract（参考訳）: 好みの最適化を備えたテキスト・ツー・イメージ(T2I)拡散モデルのアライティングは、人手による注釈付きデータセットには有用だが、手動データ収集の重いコストはスケーラビリティを制限している。しかし、報酬モデルを使用することは、ペアの選好分布のみを考慮するため、現在の選好最適化手法はリッチな情報を利用するには不十分である。さらに、マルチ推論シナリオへの一般化が欠如しており、報酬間の矛盾を扱うのに苦労している。そこで本研究では,T2I拡散モデルにアノテートされたデータを用いずに,複数の報酬モデルからの一般的な嗜好を組み込むことにより,T2I拡散モデルを調整する新しい手法であるCalibrated Preference Optimization(CaPO)を提案する。提案手法のコアとなるのは,事前学習モデルが生成したサンプルに対して期待する勝利率を計算することで,一般の嗜好を近似する報奨校正手法である。さらに,パレートフロンティアからペアを選択することで,マルチパラメータ分布を効果的に管理するフロンティアベースのペア選択手法を提案する。最後に、回帰損失を用いて微調整拡散モデルを用いて、選択したペアの校正報酬の差を一致させる。実験結果から, CaPO は GenEval や T2I-Compbench など T2I ベンチマークで評価した結果, 直接選好最適化 (DPO) などの先行手法よりも高い性能を示した。

関連論文リスト

Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
論文参考訳（メタデータ） (2025-01-11T22:38:41Z)
Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment [19.02679077706812]
大規模言語モデルと人間の嗜好データとの整合性について検討する。我々は、単純で効果的なアルゴリズムである直接選好最適化(Cal-DPO)を提案する。各種標準ベンチマーク実験の結果,Cal-DPOは市販の手法を著しく改善することが示された。
論文参考訳（メタデータ） (2024-12-19T04:31:56Z)
Preference Optimization with Multi-Sample Comparisons [53.02717574375549]
本稿では,マルチサンプル比較を含むポストトレーニングの拡張手法を提案する。これらのアプローチは、生成的多様性やバイアスといった重要な特徴を捉えられない。マルチサンプル比較はシングルサンプル比較よりも集団特性の最適化に有効であることを示す。
論文参考訳（メタデータ） (2024-10-16T00:59:19Z)
SePPO: Semi-Policy Preference Optimization for Diffusion Alignment [67.8738082040299]
本稿では、報酬モデルやペアの人間注釈データに頼ることなく、DMと好みを一致させる選好最適化手法を提案する。テキスト・ツー・イメージとテキスト・ツー・ビデオのベンチマークでSePPOを検証する。
論文参考訳（メタデータ） (2024-10-07T17:56:53Z)
Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文参考訳（メタデータ） (2024-08-14T11:29:47Z)
Margin-aware Preference Optimization for Aligning Diffusion Models without Reference [19.397326645617422]
本稿では、SDXL(Stable Diffusion XL)のような最近のテキスト・画像拡散モデルのアライメントに焦点を当てる。参照モデルに依存しない拡散モデルのための新しいメモリフレンドリーな選好アライメント手法を提案し,マージン・アウェア・選好最適化(MaPO)を提案する。 MaPOは、好ましくも好ましくない画像集合と好ましくも好まれる集合との近縁マージンを最大化し、同時に一般的なスタイリスティックな特徴と嗜好を学習する。
論文参考訳（メタデータ） (2024-06-10T16:14:45Z)
Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
論文参考訳（メタデータ） (2024-05-29T17:39:48Z)
Soft Preference Optimization: Aligning Language Models to Expert Distributions [40.84391304598521]
SPOは、Large Language Models (LLMs)のような生成モデルと人間の好みを整合させる手法である。 SPOは、選好損失をモデル全体の出力分布全体にわたる正規化項と統合する。本稿では,SPOの方法論,理論的基礎,および単純さ,計算効率,アライメント精度における比較優位性について紹介する。
論文参考訳（メタデータ） (2024-04-30T19:48:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。