論文の概要: DreamBooth: Fine Tuning Text-to-Image Diffusion Models for
Subject-Driven Generation
- arxiv url: http://arxiv.org/abs/2208.12242v1
- Date: Thu, 25 Aug 2022 17:45:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-26 13:17:24.822130
- Title: DreamBooth: Fine Tuning Text-to-Image Diffusion Models for
Subject-Driven Generation
- Title(参考訳): DreamBooth: 被験者駆動生成のための微調整テキスト-画像拡散モデル
- Authors: Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael
Rubinstein and Kfir Aberman
- Abstract要約: テキスト・ツー・イメージ・モデルの「個人化」のための新しいアプローチを提案する。
トレーニング済みのテキスト・ツー・イメージモデルを微調整して、ユニークな識別子を特定の主題にバインドする。
次に、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全なフォトリアリスティック・ノーベル画像を合成することができる。
- 参考スコア(独自算出の注目度): 26.748667878221568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large text-to-image models achieved a remarkable leap in the evolution of AI,
enabling high-quality and diverse synthesis of images from a given text prompt.
However, these models lack the ability to mimic the appearance of subjects in a
given reference set and synthesize novel renditions of them in different
contexts. In this work, we present a new approach for "personalization" of
text-to-image diffusion models (specializing them to users' needs). Given as
input just a few images of a subject, we fine-tune a pretrained text-to-image
model (Imagen, although our method is not limited to a specific model) such
that it learns to bind a unique identifier with that specific subject. Once the
subject is embedded in the output domain of the model, the unique identifier
can then be used to synthesize fully-novel photorealistic images of the subject
contextualized in different scenes. By leveraging the semantic prior embedded
in the model with a new autogenous class-specific prior preservation loss, our
technique enables synthesizing the subject in diverse scenes, poses, views, and
lighting conditions that do not appear in the reference images. We apply our
technique to several previously-unassailable tasks, including subject
recontextualization, text-guided view synthesis, appearance modification, and
artistic rendering (all while preserving the subject's key features). Project
page: https://dreambooth.github.io/
- Abstract(参考訳): 大規模なテキスト画像モデルは、AIの進化において顕著な飛躍を遂げ、与えられたテキストプロンプトから画像の高品質で多様な合成を可能にした。
しかし、これらのモデルには、与えられた参照セットの被写体を模倣し、異なる文脈でそれらの新しい再帰を合成する能力がない。
本稿では,テキストから画像への拡散モデルの「パーソナライズ」のための新しいアプローチを提案する。
入力対象の少数の画像が与えられた場合、トレーニング済みのテキスト・ツー・イメージ・モデル(画像nは特定のモデルに限らないが、我々の方法は特定の対象に固有の識別子を結び付けることを学習する)を微調整する。
被写体がモデルの出力領域に埋め込まれると、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全ヌーベルな光現実像を合成することができる。
本手法は,モデル内に埋め込まれたセマンティクスを,新たな自己固有のクラス固有の事前保存損失に活用することにより,参照画像にない多様なシーン,ポーズ,ビュー,照明条件で対象を合成することができる。
本手法は, 被験者の主観的特徴を保ちながら, 主題再構成, テキスト誘導ビュー合成, 外観修正, 芸術的レンダリングなど, 今までにない課題に適用する。
プロジェクトページ: https://dreambooth.github.io/
関連論文リスト
- Training-Free Consistent Text-to-Image Generation [80.4814768762066]
テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。
既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。
本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
論文 参考訳(メタデータ) (2024-02-05T18:42:34Z) - Paste, Inpaint and Harmonize via Denoising: Subject-Driven Image Editing
with Pre-Trained Diffusion Model [22.975965453227477]
textitPaste, Inpaint, Harmonize と呼ばれる新しいフレームワークをDenoising (PhD) を通じて導入する。
本実験では,主観的画像編集作業にPhDを適用し,参照対象のテキスト駆動シーン生成を探索する。
論文 参考訳(メタデータ) (2023-06-13T07:43:10Z) - Learning Disentangled Prompts for Compositional Image Synthesis [27.99470176603746]
本研究では,事前学習した画像生成モデルに1つの画像から新しいスタイルや概念を教え,新しい画像を合成する問題について検討する。
いくつかの画像から意味(クラス)とドメイン(スタイル)の非絡み合ったプロンプトを学習する新規なソースクラス蒸留ビジュアルプロンプトを提案する。
論文 参考訳(メタデータ) (2023-06-01T14:56:37Z) - ProSpect: Prompt Spectrum for Attribute-Aware Personalization of
Diffusion Models [77.03361270726944]
現在のパーソナライズ手法は、オブジェクトや概念をテキスト条件空間に反転させ、テキストから画像への拡散モデルのための新しい自然文を構成することができる。
本稿では,低周波情報から高周波画像を生成する拡散モデルのステップバイステップ生成プロセスを活用する新しい手法を提案する。
ProSpectは、画像誘導やテキスト駆動による材料、スタイル、レイアウトの操作など、パーソナライズされた属性認識画像生成アプリケーションに適用する。
論文 参考訳(メタデータ) (2023-05-25T16:32:01Z) - Subject-driven Text-to-Image Generation via Apprenticeship Learning [83.88256453081607]
本研究では,テキスト・トゥ・イメージ・ジェネレータのSuTIについて述べる。
SuTIは見習いの学習を利用しており、そこでは、多数の主題固有のエキスパートモデルによって生成されたデータから、単一の見習いモデルが学習される。
SuTIは、InstructPix2Pix、Textual Inversion、Imagic、Prompt2Prompt、Re-Imagen、DreamBoothといった既存のモデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-04-01T00:47:35Z) - Zero-shot Generation of Coherent Storybook from Plain Text Story using
Diffusion Models [43.32978092618245]
本稿では,ストーリーの平文からコヒーレントなストーリーブックを生成するためのニューラルパイプラインを提案する。
我々は,事前学習された大規模言語モデルとテキスト誘導型潜在拡散モデルを組み合わせて,コヒーレントな画像を生成する。
論文 参考訳(メタデータ) (2023-02-08T06:24:06Z) - eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert
Denoisers [87.52504764677226]
大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。
異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。
eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
論文 参考訳(メタデータ) (2022-11-02T17:43:04Z) - On Advances in Text Generation from Images Beyond Captioning: A Case
Study in Self-Rationalization [89.94078728495423]
近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。
画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
論文 参考訳(メタデータ) (2022-05-24T00:52:40Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳(メタデータ) (2021-05-20T20:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。