論文の概要: AGFSync: Leveraging AI-Generated Feedback for Preference Optimization in Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2403.13352v1
• Date: Wed, 20 Mar 2024 07:31:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:38:28.185481
• Title: AGFSync: Leveraging AI-Generated Feedback for Preference Optimization in Text-to-Image Generation
• Title（参考訳）: AGFSync: テキスト・画像生成におけるAI生成フィードバックの活用
• Authors: Jingkun An, Yinghao Zhu, Zongjian Li, Haoran Feng, Bohua Chen, Yemin Shi, Chengwei Pan,
• Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデルは画像生成において顕著な成功を収めた。 AGFSyncは、AIによる完全なアプローチで、DPO(Direct Preference Optimization)を通じてT2I拡散モデルを強化するフレームワークである。 AGFSyncのT2I拡散モデルの精製方法は、スケーラブルなアライメント手法の道を開く。
• 参考スコア（独自算出の注目度）: 4.054100650064423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-Image (T2I) diffusion models have achieved remarkable success in image generation. Despite their progress, challenges remain in both prompt-following ability, image quality and lack of high-quality datasets, which are essential for refining these models. As acquiring labeled data is costly, we introduce AGFSync, a framework that enhances T2I diffusion models through Direct Preference Optimization (DPO) in a fully AI-driven approach. AGFSync utilizes Vision-Language Models (VLM) to assess image quality across style, coherence, and aesthetics, generating feedback data within an AI-driven loop. By applying AGFSync to leading T2I models such as SD v1.4, v1.5, and SDXL, our extensive experiments on the TIFA dataset demonstrate notable improvements in VQA scores, aesthetic evaluations, and performance on the HPSv2 benchmark, consistently outperforming the base models. AGFSync's method of refining T2I diffusion models paves the way for scalable alignment techniques.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは画像生成において顕著な成功を収めた。 彼らの進歩にもかかわらず、課題は、これらのモデルを洗練するのに不可欠な、迅速なフォロー能力、画質、高品質なデータセットの欠如の両方に留まっている。 ラベル付きデータの取得にはコストがかかるため、AI駆動のアプローチでDPO(Direct Preference Optimization)を通じてT2I拡散モデルを強化するフレームワークであるAGFSyncを導入する。 AGFSyncは、VLM(Vision-Language Models)を使用して、スタイル、コヒーレンス、美学にわたる画像品質を評価し、AI駆動ループ内でフィードバックデータを生成する。 AGFSyncをSD v1.4、v1.5、SDXLといった主要なT2Iモデルに適用することにより、TIFAデータセットの広範な実験により、VQAスコア、審美評価、HPSv2ベンチマークのパフォーマンスが大幅に向上し、ベースモデルを上回った。 AGFSyncのT2I拡散モデルの精製方法は、スケーラブルなアライメント手法の道を開く。

関連論文リスト

• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Scalable Ranked Preference Optimization for Text-to-Image Generation [76.16285931871948]
  DPOトレーニングのための大規模および完全合成データセット収集のためのスケーラブルなアプローチについて検討する。 ペア画像の嗜好は、事前訓練された報酬関数を用いて生成され、アノテーションプロセスに人間を巻き込む必要がなくなる。 ランキングフィードバックを用いてDPOに基づく手法を強化するためにRandonDPOを導入する。
  論文  参考訳（メタデータ） (2024-10-23T16:42:56Z)
• VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide [48.22321420680046]
  VideoGuideは、事前訓練されたテキスト・ツー・ビデオ(T2V)モデルの時間的一貫性を高める新しいフレームワークである。 ガイドモデルの復調標本をサンプリングモデルの復調過程に補間することにより、時間的品質を向上させる。 提案手法は時間的一貫性と画像の忠実度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-06T05:46:17Z)
• Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation [52.509092010267665]
  我々はLlamaGenを紹介した。LlamaGenは画像生成モデルの新しいファミリーで、視覚生成ドメインに対して、大規模言語モデルのオリジナルの次世代予測のパラダイムを適用している。 これは、例えば、視覚信号に誘導バイアスのないバニラ自己回帰モデルが、適切にスケーリングすれば最先端の画像生成性能を達成できるかどうか、肯定的な答えである。
  論文  参考訳（メタデータ） (2024-06-10T17:59:52Z)
• Improving Text-to-Image Consistency via Automatic Prompt Optimization [26.2587505265501]
  我々は,T2Iモデルの迅速な画像整合性を改善するため,T2I最適化・プロンプトフレームワークであるOPT2Iを導入する。 当社のフレームワークは,ユーザのプロンプトから始まり,一貫性スコアの最大化を目標として,更新プロンプトを反復的に生成する。
  論文  参考訳（メタデータ） (2024-03-26T15:42:01Z)
• Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• I2VGen-XL: High-Quality Image-to-Video Synthesis via Cascaded Diffusion Models [54.99771394322512]
  ビデオ合成は拡散モデルの急速な発展の恩恵を受け、近年顕著な進歩を遂げている。 意味的正確性、明快さ、連続性-時間的連続性という観点ではまだ遭遇に挑戦する。 これら2つの要素を分離することでモデル性能を向上させるカスケードI2VGen-XL手法を提案する。 I2VGen-XLは、生成したビデオの意味的精度、詳細の連続性、明快さを同時に向上させることができる。
  論文  参考訳（メタデータ） (2023-11-07T17:16:06Z)
• Contrast-augmented Diffusion Model with Fine-grained Sequence Alignment for Markup-to-Image Generation [15.411325887412413]
  本稿では,FSA-CDM (Contrast-augmented Diffusion Model with Fine-fine Sequence Alignment) という新しいモデルを提案する。 FSA-CDMは、マークアップ・ツー・イメージ生成の性能を高めるために、対照的な正/負のサンプルを拡散モデルに導入する。 異なるドメインの4つのベンチマークデータセットで実験が行われる。
  論文  参考訳（メタデータ） (2023-08-02T13:43:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。