論文の概要: Learning Disentangled Prompts for Compositional Image Synthesis
- arxiv url: http://arxiv.org/abs/2306.00763v1
- Date: Thu, 1 Jun 2023 14:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 15:26:41.699889
- Title: Learning Disentangled Prompts for Compositional Image Synthesis
- Title（参考訳）: 合成画像合成のための不連続プロンプトの学習
- Authors: Kihyuk Sohn, Albert Shaw, Yuan Hao, Han Zhang, Luisa Polania, Huiwen
Chang, Lu Jiang, Irfan Essa
- Abstract要約: 本研究では,事前学習した画像生成モデルに1つの画像から新しいスタイルや概念を教え,新しい画像を合成する問題について検討する。
いくつかの画像から意味(クラス)とドメイン(スタイル)の非絡み合ったプロンプトを学習する新規なソースクラス蒸留ビジュアルプロンプトを提案する。
- 参考スコア（独自算出の注目度）: 27.99470176603746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study domain-adaptive image synthesis, the problem of teaching pretrained
image generative models a new style or concept from as few as one image to
synthesize novel images, to better understand the compositional image
synthesis. We present a framework that leverages a pretrained class-conditional
generation model and visual prompt tuning. Specifically, we propose a novel
source class distilled visual prompt that learns disentangled prompts of
semantic (e.g., class) and domain (e.g., style) from a few images. Learned
domain prompt is then used to synthesize images of any classes in the style of
target domain. We conduct studies on various target domains with the number of
images ranging from one to a few to many, and show qualitative results which
show the compositional generalization of our method. Moreover, we show that our
method can help improve zero-shot domain adaptation classification accuracy.
- Abstract（参考訳）: そこで本研究では,事前学習した画像生成モデルに対して,新規画像合成のための新しいスタイルや概念を1つの画像から教える問題であるドメイン適応画像合成について検討し,合成画像合成の理解を深める。
本稿では,事前学習したクラス条件生成モデルと視覚的プロンプトチューニングを利用するフレームワークを提案する。
具体的には,いくつかの画像から意味(例えばクラス)とドメイン(例えばスタイル)の対立したプロンプトを学習する,新しいソースクラス蒸留ビジュアルプロンプトを提案する。
学習されたドメインプロンプトは、ターゲットドメインのスタイルで任意のクラスのイメージを合成するために使用される。
本研究では,各対象領域について,一から数までの画像数で研究を行い,その構成的一般化を示す定性的な結果を示す。
さらに,本手法はゼロショット領域適応分類精度の向上に役立つことを示す。
関連論文リスト
- FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。
本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
論文 参考訳（メタデータ） (2024-07-06T03:35:43Z) - Diversified in-domain synthesis with efficient fine-tuning for few-shot
classification [64.86872227580866]
画像分類は,クラスごとのラベル付き例の小さなセットのみを用いて,画像分類器の学習を目的としている。
合成データを用いた数ショット学習における一般化問題に対処する新しいアプローチである DisEF を提案する。
提案手法を10種類のベンチマークで検証し,ベースラインを一貫して上回り,数ショット分類のための新しい最先端の手法を確立した。
論文 参考訳（メタデータ） (2023-12-05T17:18:09Z) - Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with
Synthetic Images [37.29348016920314]
そこで本研究では,既製の生成モデルを利用して合成訓練画像を生成する新しいフレームワークを提案する。
クラス名の曖昧さ、ナイーブなプロンプトの多様性の欠如、ドメインシフトに対処する。
我々のフレームワークは、より合成データによる認識モデルの性能を一貫して向上させる。
論文 参考訳（メタデータ） (2023-12-04T18:35:27Z) - Improving Generalization of Image Captioning with Unsupervised Prompt
Learning [63.26197177542422]
画像キャプションの一般化(GeneIC)は、アノテーション付きデータを必要とせずに、ターゲットドメインのドメイン固有のプロンプトベクトルを学習する。
GeneICは、学習済みのContrastive Language-Image Pre-Training (CLIP)モデルと視覚的および言語的モダリティを一致させる。
論文 参考訳（メタデータ） (2023-08-05T12:27:01Z) - Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
スケッチに基づく画像検索のクロスドメイン性は困難である。
重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。
ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
論文 参考訳（メタデータ） (2023-05-09T03:10:15Z) - DreamBooth: Fine Tuning Text-to-Image Diffusion Models for
Subject-Driven Generation [26.748667878221568]
テキスト・ツー・イメージ・モデルの「個人化」のための新しいアプローチを提案する。
トレーニング済みのテキスト・ツー・イメージモデルを微調整して、ユニークな識別子を特定の主題にバインドする。
次に、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全なフォトリアリスティック・ノーベル画像を合成することができる。
論文 参考訳（メタデータ） (2022-08-25T17:45:49Z) - Text-Guided Synthesis of Artistic Images with Retrieval-Augmented
Diffusion Models [12.676356746752894]
検索拡張拡散モデル(RDM)に基づく代替手法を提案する。
検索データベースを、特定の視覚スタイルの画像のみを含む、より専門的なデータベースに置き換える。
これにより、トレーニング後の一般的なトレーニングモデルに新たな方法が提供され、それによって特定の視覚スタイルが指定される。
論文 参考訳（メタデータ） (2022-07-26T16:56:51Z) - More Control for Free! Image Synthesis with Semantic Diffusion Guidance [79.88929906247695]
制御可能な画像合成モデルは、サンプル画像からテキスト命令やガイダンスに基づいて多様な画像を作成することができる。
セマンティックな拡散誘導のための新しい統合フレームワークを導入し、言語や画像の誘導、あるいはその両方を可能にした。
FFHQとLSUNのデータセットで実験を行い、微細なテキスト誘導画像合成結果を示す。
論文 参考訳（メタデータ） (2021-12-10T18:55:50Z) - Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
複数発話頭合成のための新しいアプローチを提案する。
この異方性表現は,従来の手法よりも大幅に改善されることを示す。
論文 参考訳（メタデータ） (2021-04-29T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。