論文の概要: JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2407.06187v1
• Date: Mon, 8 Jul 2024 17:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 14:30:11.018265
• Title: JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation
• Title（参考訳）: JeDi: ファインタニングフリーの個人化テキスト・画像生成のための共同画像拡散モデル
• Authors: Yu Zeng, Vishal M. Patel, Haochen Wang, Xun Huang, Ting-Chun Wang, Ming-Yu Liu, Yogesh Balaji,
• Abstract要約: 既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
• 参考スコア（独自算出の注目度）: 49.997839600988875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized text-to-image generation models enable users to create images that depict their individual possessions in diverse scenes, finding applications in various domains. To achieve the personalization capability, existing methods rely on finetuning a text-to-image foundation model on a user's custom dataset, which can be non-trivial for general users, resource-intensive, and time-consuming. Despite attempts to develop finetuning-free methods, their generation quality is much lower compared to their finetuning counterparts. In this paper, we propose Joint-Image Diffusion (\jedi), an effective technique for learning a finetuning-free personalization model. Our key idea is to learn the joint distribution of multiple related text-image pairs that share a common subject. To facilitate learning, we propose a scalable synthetic dataset generation technique. Once trained, our model enables fast and easy personalization at test time by simply using reference images as input during the sampling process. Our approach does not require any expensive optimization process or additional modules and can faithfully preserve the identity represented by any number of reference images. Experimental results show that our model achieves state-of-the-art generation quality, both quantitatively and qualitatively, significantly outperforming both the prior finetuning-based and finetuning-free personalization baselines.
• Abstract（参考訳）: パーソナライズされたテキスト・ツー・イメージ生成モデルにより、ユーザーは様々な場面で個々の所有物を描いた画像を作成し、様々な領域のアプリケーションを見つけることができる。 パーソナライズ機能を実現するために、既存の手法では、ユーザのカスタムデータセットにテキスト・ツー・イメージの基礎モデルを微調整することに頼っている。 ファインタニングフリーな手法を開発しようとする試みにもかかわらず、その生成品質はファインタニングに比べてはるかに低い。 本稿では,ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法であるジョイントイメージ拡散(\jedi)を提案する。 我々の鍵となる考え方は、共通の主題を共有する複数の関連するテキストイメージペアの連成分布を学習することである。 学習を容易にするために,スケーラブルな合成データセット生成手法を提案する。 トレーニングが完了すると、サンプル処理中に参照イメージを入力として単純に使用することで、テスト時の高速かつ簡易なパーソナライズを可能にする。 当社のアプローチでは,コストのかかる最適化プロセスや追加モジュールは必要とせず,参照画像の数に代表されるアイデンティティを忠実に保存することができる。 実験結果から,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方を定量的に,質的にも質的にも,優れた生成品質が得られることが示された。

関連論文リスト

• Multi-subject Open-set Personalization in Video Generation [110.02124633005516]
  我々は、マルチオブジェクトでオープンなパーソナライズ機能を備えたビデオモデルとして、Video Alchemist $-$を提示する。 本モデルは,各条件付き参照画像と対応する主観レベルテキストプロンプトを融合するDiffusion Transformerモジュール上に構築されている。 本手法は,定量評価と定性評価の両方において,既存のパーソナライズ手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-01-10T18:59:54Z)
• Imagine yourself: Tuning-Free Personalized Image Generation [39.63411174712078]
  私たちは、パーソナライズされた画像生成用に設計された最先端のモデルであるImagine yourselfを紹介します。 チューニング不要のモデルとして機能し、個別に調整することなく、すべてのユーザが共有フレームワークを活用できる。 我々の研究は、Imagine自身が最先端のパーソナライズモデルを超え、アイデンティティ保存、視覚的品質、テキストアライメントにおいて優れた能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-20T09:21:49Z)
• Powerful and Flexible: Personalized Text-to-Image Generation via Reinforcement Learning [40.06403155373455]
  個人化されたテキスト・画像生成のための新しい強化学習フレームワークを提案する。 提案手法は、テキストアライメントを維持しながら、視覚的忠実度に大きな差で既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T08:11:53Z)
• Identity Decoupling for Multi-Subject Personalization of Text-to-Image Models [66.05234562835136]
  マルチオブジェクトパーソナライズを可能にする新しいフレームワークである MuDI を提案する。 本研究の主な目的は,セグメンテーションのための基礎モデルによって生成されたセグメンテーションの活用である。 実験結果から,MuDIは同一性ミキシングを伴わずに高品質なパーソナライズされたイメージを生成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-05T17:45:22Z)
• Direct Consistency Optimization for Robust Customization of Text-to-Image Diffusion Models [67.68871360210208]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,微調整モデルと事前学習モデルとの偏差を制御し,直接整合性最適化(Direct Consistency Optimization)と呼ばれる新たな微調整対象を提案する。 提案手法は, 通常の微調整モデルとのマージに最適化したモデルよりも, 高速な忠実度と主観的忠実度が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• Identity Encoder for Personalized Diffusion [57.1198884486401]
  パーソナライズのためのエンコーダに基づくアプローチを提案する。 我々は、被写体の参照画像の集合からアイデンティティ表現を抽出できるアイデンティティエンコーダを学習する。 提案手法は画像生成と再構成の両方において既存の微調整に基づくアプローチより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-14T23:32:24Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。