論文の概要: Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach

• arxiv url: http://arxiv.org/abs/2305.13579v1
• Date: Tue, 23 May 2023 01:14:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:02:03.944025
• Title: Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach
• Title（参考訳）: カスタマイズされたテキスト対画像生成のための詳細保存の強化:正規化フリーアプローチ
• Authors: Yufan Zhou, Ruiyi Zhang, Tong Sun, Jinhui Xu
• Abstract要約: 正規化を使わずにカスタマイズされたテキスト・画像生成のための新しいフレームワークを提案する。 提案したフレームワークでは,1つのGPU上で30分以内に大規模テキスト・画像生成モデルをカスタマイズできる。
• 参考スコア（独自算出の注目度）: 43.53330622723175
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent text-to-image generation models have demonstrated impressive capability of generating text-aligned images with high fidelity. However, generating images of novel concept provided by the user input image is still a challenging task. To address this problem, researchers have been exploring various methods for customizing pre-trained text-to-image generation models. Currently, most existing methods for customizing pre-trained text-to-image generation models involve the use of regularization techniques to prevent over-fitting. While regularization will ease the challenge of customization and leads to successful content creation with respect to text guidance, it may restrict the model capability, resulting in the loss of detailed information and inferior performance. In this work, we propose a novel framework for customized text-to-image generation without the use of regularization. Specifically, our proposed framework consists of an encoder network and a novel sampling method which can tackle the over-fitting problem without the use of regularization. With the proposed framework, we are able to customize a large-scale text-to-image generation model within half a minute on single GPU, with only one image provided by the user. We demonstrate in experiments that our proposed framework outperforms existing methods, and preserves more fine-grained details.
• Abstract（参考訳）: 最近のテキスト対画像生成モデルは、高い忠実度でテキストに整合した画像を生成する素晴らしい能力を示している。 しかし、ユーザ入力画像から提供される新しい概念の画像を生成することは依然として難しい課題である。 この問題に対処するため、研究者は事前訓練されたテキスト・画像生成モデルをカスタマイズする様々な方法を模索してきた。 現在、トレーニング済みのテキスト・ツー・イメージ生成モデルをカスタマイズするほとんどの方法には、オーバーフィットを防ぐために正規化技術が使われている。 正規化はカスタマイズの難しさを和らげ、テキスト指導に関してコンテンツ作成を成功させるが、モデルの能力を制限する可能性があるため、詳細な情報が失われ、パフォーマンスが低下する。 本稿では,正規化を使わずにテキスト対画像生成をカスタマイズする新しいフレームワークを提案する。 具体的には,正規化を使わずに過度に適合する問題に対処可能な,エンコーダネットワークと新しいサンプリング手法から構成する。 提案フレームワークでは,単一のgpu上で30分以内の大規模テキストから画像への生成モデルを,ユーザが提供した1つのイメージでカスタマイズすることが可能である。 提案するフレームワークが既存の手法より優れており、よりきめ細かい詳細を保存できることを示す。

関連論文リスト

• Powerful and Flexible: Personalized Text-to-Image Generation via Reinforcement Learning [40.06403155373455]
  個人化されたテキスト・画像生成のための新しい強化学習フレームワークを提案する。 提案手法は、テキストアライメントを維持しながら、視覚的忠実度に大きな差で既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T08:11:53Z)
• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• PALP: Prompt Aligned Personalization of Text-to-Image Models [68.91005384187348]
  既存のパーソナライズ手法は、パーソナライズ能力や複雑なプロンプトへのアライメントを損なう。 本稿では,この問題に対処するエフィンスル・プロンプトのためのパーソナライズ手法に着目した新しいアプローチを提案する。 本手法はテキストアライメントの改善に優れ,複雑かつ複雑なプロンプトによる画像作成を可能にする。
  論文  参考訳（メタデータ） (2024-01-11T18:35:33Z)
• Customization Assistant for Text-to-image Generation [40.76198867803018]
  本稿では,新しいモデル設計と新しいトレーニング戦略からなる新しいフレームワークを提案する。 得られたアシスタントは、テストタイムを微調整することなく、2〜5秒でカスタマイズされた生成を行うことができる。
  論文  参考訳（メタデータ） (2023-12-05T16:54:42Z)
• InstructBooth: Instruction-following Personalized Text-to-Image Generation [30.89054609185801]
  InstructBoothは、パーソナライズされたテキスト・ツー・イメージモデルにおける画像テキストアライメントを強化するために設計された新しい方法である。 提案手法はまず,一意の識別子を用いて,少数の被写体固有の画像でテキスト・ツー・イメージ・モデルをパーソナライズする。 パーソナライズ後、強化学習を用いてパーソナライズされたテキスト・ツー・イメージモデルを微調整し、画像・テキストのアライメントを定量化する報酬を最大化する。
  論文  参考訳（メタデータ） (2023-12-04T20:34:46Z)
• ControlStyle: Text-Driven Stylized Image Generation Using Diffusion Priors [105.37795139586075]
  そこで本研究では,テキスト駆動型スタイリング画像生成という,テキスト・イメージ・モデルをスタイリングするための新しいタスクを提案する。 トレーニング可能な変調ネットワークで事前訓練されたテキスト・ツー・イメージモデルをアップグレードすることで,新しい拡散モデル(ControlStyle)を提案する。 実験では、より視覚的で芸術的な結果を生み出すためのコントロールスタイルの有効性が示されています。
  論文  参考訳（メタデータ） (2023-11-09T15:50:52Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Zero-shot Generation of Coherent Storybook from Plain Text Story using Diffusion Models [43.32978092618245]
  本稿では,ストーリーの平文からコヒーレントなストーリーブックを生成するためのニューラルパイプラインを提案する。 我々は,事前学習された大規模言語モデルとテキスト誘導型潜在拡散モデルを組み合わせて,コヒーレントな画像を生成する。
  論文  参考訳（メタデータ） (2023-02-08T06:24:06Z)
• LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
  テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。 提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。 我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-27T01:54:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。