論文の概要: ConceptLab: Creative Concept Generation using VLM-Guided Diffusion Prior
Constraints
- arxiv url: http://arxiv.org/abs/2308.02669v2
- Date: Sun, 17 Dec 2023 22:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 20:34:55.631319
- Title: ConceptLab: Creative Concept Generation using VLM-Guided Diffusion Prior
Constraints
- Title(参考訳): ConceptLab: VLM誘導拡散事前制約を用いた創造的概念生成
- Authors: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or
- Abstract要約: 我々は創造的なテキスト・画像生成の課題を提示し、幅広いカテゴリの新しいメンバーを創り出そうとする。
本稿では, 先行拡散の出力空間上での最適化プロセスとして, 創造的生成問題を定式化できることを示す。
我々は、最適化問題に新たな制約を適応的に付加する質問応答型視覚言語モデル(VLM)を導入し、よりユニークな生成物を発見するようモデルに促す。
- 参考スコア(独自算出の注目度): 56.824187892204314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-image generative models have enabled us to transform our words
into vibrant, captivating imagery. The surge of personalization techniques that
has followed has also allowed us to imagine unique concepts in new scenes.
However, an intriguing question remains: How can we generate a new, imaginary
concept that has never been seen before? In this paper, we present the task of
creative text-to-image generation, where we seek to generate new members of a
broad category (e.g., generating a pet that differs from all existing pets). We
leverage the under-studied Diffusion Prior models and show that the creative
generation problem can be formulated as an optimization process over the output
space of the diffusion prior, resulting in a set of "prior constraints". To
keep our generated concept from converging into existing members, we
incorporate a question-answering Vision-Language Model (VLM) that adaptively
adds new constraints to the optimization problem, encouraging the model to
discover increasingly more unique creations. Finally, we show that our prior
constraints can also serve as a strong mixing mechanism allowing us to create
hybrids between generated concepts, introducing even more flexibility into the
creative process.
- Abstract(参考訳): 近年のテキストから画像への生成モデルにより、私たちの言葉を活気満載の画像に変換することが可能になった。
その後のパーソナライズ技術の増加により、私たちは新たなシーンでユニークな概念を想像できるようになった。
しかし、興味深い疑問が残る: 今まで見たことのない新しい想像上の概念をどうやって生成できるか?
本稿では,幅広いカテゴリ(例えば,既存のペットと異なるペットの生成)の新たなメンバの生成を目指す,クリエイティブなテキストから画像への生成という課題について述べる。
我々は拡散前駆モデルを用いて, 創造的生成問題を拡散前駆の出力空間上の最適化過程として定式化できることを示し, 結果として「優先的制約」の集合を導出する。
生成した概念を既存のメンバに収束させないために,最適化問題に新たな制約を適応的に付加する質問応答型ビジョンランゲージモデル(VLM)を導入し,よりユニークな生成の発見を促す。
最後に、私たちの以前の制約は、生成する概念間のハイブリッドを作成できる強力な混合メカニズムとしても機能し、創造的プロセスにさらに柔軟性をもたらすことも示します。
関連論文リスト
- Visual Concept-driven Image Generation with Text-to-Image Diffusion
Model [69.89451490936652]
テキスト・ツー・イメージ(TTI)モデルでは、複雑で想像力のあるシーンの高解像度画像を生成するという印象的な結果が示されている。
近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。
しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。
これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T07:28:37Z) - DreamCreature: Crafting Photorealistic Virtual Creatures from
Imagination [140.1641573781066]
ターゲット概念のラベルなしイメージのセットを前提として、我々は、新しいハイブリッド概念を創出できるT2Iモデルをトレーニングすることを目指している。
そこで我々はDreamCreatureと呼ばれる新しい手法を提案し,その基盤となるサブ概念を同定し抽出する。
したがって、T2Iは忠実な構造とフォトリアリスティックな外観を持つ新しい概念を生成するのに適応する。
論文 参考訳(メタデータ) (2023-11-27T01:24:31Z) - Multi-Concept T2I-Zero: Tweaking Only The Text Embeddings and Nothing
Else [75.6806649860538]
我々は,事前学習した拡散モデルを用いた自然多概念生成という,より野心的な目標を考える。
マルチコンセプト生成性能を著しく低下させる概念支配と非局所的貢献を観察する。
我々は、より現実的なマルチコンセプトのテキスト・ツー・イメージ生成のために、テキストの埋め込みを微調整することで、上記の問題を克服する最小の低コストのソリューションを設計する。
論文 参考訳(メタデータ) (2023-10-11T12:05:44Z) - Continual Diffusion: Continual Customization of Text-to-Image Diffusion
with C-LoRA [73.25715057309768]
近年のテクスト・ツー・イメージ・モデルの最先端のカスタマイズは,新しい概念が次々に現れると,破滅的な忘れ込みに悩まされることが示されている。
安定拡散モデルのクロスアテンション層における自己規則化低ランク適応を連続的に行う新しい手法であるC-LoRAを提案する。
C-LoRAは、提案したテキスト・ツー・イメージの連続的なカスタマイズ設定のベースラインよりも優れるだけでなく、画像分類のためのリハーサル不要な連続的な学習設定において、新しい最先端の学習を実現することを示します。
論文 参考訳(メタデータ) (2023-04-12T17:59:41Z) - Multi-Concept Customization of Text-to-Image Diffusion [51.8642043743222]
既存のテキスト・ツー・イメージ・モデルの効率的な拡張法であるCustom Diffusionを提案する。
テキスト・ツー・イメージ・コンディショニング機構におけるパラメータの最適化は,新しい概念を表現するのに十分強力であることがわかった。
本モデルは,複数の新しい概念のバリエーションを生成し,既存の概念を新しい設定でシームレスに構成する。
論文 参考訳(メタデータ) (2022-12-08T18:57:02Z) - Challenges in creative generative models for music: a divergence
maximization perspective [3.655021726150369]
創造的な実践における生成機械学習モデルの開発は、芸術家、実践家、パフォーマーの間でより多くの関心を集めている。
ほとんどのモデルは、トレーニングデータセットで定義されたドメインの外にあるコンテンツを生成することができない。
本稿では,ML目的の新しい汎用的な定式化から始まる,新たな予測フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-16T12:02:43Z) - Seeding Diversity into AI Art [1.393683063795544]
生成的敵ネットワーク(GAN)は、1つのイメージを真空で生成するが、製品が以前作成されたものとどのように異なるかという新しい概念は欠如している。
進化的アルゴリズムの新規性保存機構をGANの力と組み合わせたアルゴリズムが、創造的プロセスを善で斬新な出力へと意図的に導くことができると想定する。
論文 参考訳(メタデータ) (2022-05-02T10:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。