論文の概要: Generating Multi-Image Synthetic Data for Text-to-Image Customization

• arxiv url: http://arxiv.org/abs/2502.01720v1
• Date: Mon, 03 Feb 2025 18:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:01.861038
• Title: Generating Multi-Image Synthetic Data for Text-to-Image Customization
• Title（参考訳）: テキストから画像へのカスタマイズのための複数画像合成データの生成
• Authors: Nupur Kumari, Xi Yin, Jun-Yan Zhu, Ishan Misra, Samaneh Azadi,
• Abstract要約: テキスト・ツー・イメージ・モデルのカスタマイズにより、ユーザーはカスタムのコンセプトを挿入し、目に見えない設定でコンセプトを生成することができる。 既存の方法は、コストのかかるテストタイム最適化か、マルチイメージの監督なしにシングルイメージのトレーニングデータセットのトレーニングエンコーダに依存している。 両制約に対処する簡単なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 48.59231755159313
• License:
• Abstract: Customization of text-to-image models enables users to insert custom concepts and generate the concepts in unseen settings. Existing methods either rely on costly test-time optimization or train encoders on single-image training datasets without multi-image supervision, leading to worse image quality. We propose a simple approach that addresses both limitations. We first leverage existing text-to-image models and 3D datasets to create a high-quality Synthetic Customization Dataset (SynCD) consisting of multiple images of the same object in different lighting, backgrounds, and poses. We then propose a new encoder architecture based on shared attention mechanisms that better incorporate fine-grained visual details from input images. Finally, we propose a new inference technique that mitigates overexposure issues during inference by normalizing the text and image guidance vectors. Through extensive experiments, we show that our model, trained on the synthetic dataset with the proposed encoder and inference algorithm, outperforms existing tuning-free methods on standard customization benchmarks.
• Abstract（参考訳）: テキスト・ツー・イメージ・モデルのカスタマイズにより、ユーザーはカスタムのコンセプトを挿入し、目に見えない設定でコンセプトを生成することができる。 既存の手法では、コストのかかるテストタイム最適化や、マルチイメージの監督なしにシングルイメージのトレーニングデータセットのトレーニングエンコーダを頼りにすることで、イメージ品質が悪化する。 両制約に対処する簡単なアプローチを提案する。 まず、既存のテキスト・ツー・イメージモデルと3Dデータセットを活用して、異なる照明、背景、ポーズで同じオブジェクトの複数の画像からなる高品質なシンセティック・カスタマイズデータセット(SynCD)を作成します。 そこで我々は,入力画像から細かな視覚的詳細を取り入れた,共有注意機構に基づく新しいエンコーダアーキテクチャを提案する。 最後に,テキストと画像誘導ベクトルを正規化することにより,推論中の過剰露光問題を緩和する新しい推論手法を提案する。 実験により,提案したエンコーダと推論アルゴリズムを用いて合成データセットに基づいて学習したモデルが,標準カスタマイズベンチマークにおいて既存のチューニング不要な手法より優れていることを示す。

関連論文リスト

• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• Gen4Gen: Generative Data Pipeline for Generative Multi-Concept Composition [47.07564907486087]
  近年のテキスト・画像拡散モデルでは,新規でパーソナライズされた概念を含む画像の学習と合成が可能となっている。 本稿では,テキスト・画像拡散モデルのパーソナライズという領域における2つの相互接続問題に取り組む。
  論文  参考訳（メタデータ） (2024-02-23T18:55:09Z)
• LoCo: Locally Constrained Training-Free Layout-to-Image Synthesis [24.925757148750684]
  テキストプロンプトとレイアウト命令の両方に整合した高品質な画像を生成するのに優れたレイアウト・ツー・イメージ合成のためのトレーニング不要なアプローチを提案する。 LoCoは既存のテキスト・ツー・イメージモデルとレイアウト・ツー・イメージモデルにシームレスに統合され、空間制御の性能を高め、以前の方法で観察された意味障害に対処する。
  論文  参考訳（メタデータ） (2023-11-21T04:28:12Z)
• Domain-Agnostic Tuning-Encoder for Fast Personalization of Text-To-Image Models [59.094601993993535]
  テキスト・ツー・イメージ(T2I)のパーソナライズにより、ユーザーは自然言語のプロンプトに自身の視覚的概念を組み合わせることができる。 既存のエンコーダのほとんどは単一クラスドメインに限定されており、多様な概念を扱う能力を妨げる。 個人化された概念に関する特別なデータセットや事前情報を必要としないドメインに依存しない手法を提案する。
  論文  参考訳（メタデータ） (2023-07-13T17:46:42Z)
• Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach [43.53330622723175]
  正規化を使わずにカスタマイズされたテキスト・画像生成のための新しいフレームワークを提案する。 提案したフレームワークでは,1つのGPU上で30分以内に大規模テキスト・画像生成モデルをカスタマイズできる。
  論文  参考訳（メタデータ） (2023-05-23T01:14:53Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。