論文の概要: The Stable Artist: Steering Semantics in Diffusion Latent Space
- arxiv url: http://arxiv.org/abs/2212.06013v1
- Date: Mon, 12 Dec 2022 16:21:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 14:49:13.441944
- Title: The Stable Artist: Steering Semantics in Diffusion Latent Space
- Title（参考訳）: 安定なアーティスト:拡散ラテント・スペースでセマンティックを操る
- Authors: Manuel Brack, Patrick Schramowski, Felix Friedrich, Dominik
Hintersdorf, Kristian Kersting
- Abstract要約: 本稿では,画像生成プロセスのきめ細かい制御を可能にする画像編集手法であるStable Artistを提案する。
主要なコンポーネントはセマンティックガイダンス(SEGA)であり、セマンティックな方向の変数数に沿って拡散過程を制御している。
SEGAは、モデルによって学習された概念の表現に関する洞察を得るために、潜在空間の探索を可能にする。
- 参考スコア（独自算出の注目度）: 17.119616029527744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large, text-conditioned generative diffusion models have recently gained a
lot of attention for their impressive performance in generating high-fidelity
images from text alone. However, achieving high-quality results is almost
unfeasible in a one-shot fashion. On the contrary, text-guided image generation
involves the user making many slight changes to inputs in order to iteratively
carve out the envisioned image. However, slight changes to the input prompt
often lead to entirely different images being generated, and thus the control
of the artist is limited in its granularity. To provide flexibility, we present
the Stable Artist, an image editing approach enabling fine-grained control of
the image generation process. The main component is semantic guidance (SEGA)
which steers the diffusion process along variable numbers of semantic
directions. This allows for subtle edits to images, changes in composition and
style, as well as optimization of the overall artistic conception. Furthermore,
SEGA enables probing of latent spaces to gain insights into the representation
of concepts learned by the model, even complex ones such as 'carbon emission'.
We demonstrate the Stable Artist on several tasks, showcasing high-quality
image editing and composition.
- Abstract（参考訳）: テキストコンディショニングによる大規模生成拡散モデルは最近、テキストのみから高精細な画像を生成するという素晴らしい性能で多くの注目を集めている。
しかし、高品質な結果を得ることはほとんど不可能である。
それに対して、テキスト誘導画像生成では、ユーザは、想定された画像を反復的に彫るために、入力にわずかな変更を多く行う。
しかし、入力プロンプトのわずかな変更は、しばしば全く異なる画像が生成されることにつながるため、アーティストの制御はその粒度に制限される。
フレキシビリティを実現するため,画像生成プロセスのきめ細かい制御が可能な画像編集手法であるStable Artistを提案する。
主要なコンポーネントはセマンティックガイダンス(SEGA)であり、セマンティックな方向の変数数に沿って拡散過程を制御している。
これにより、画像の微妙な編集、構成やスタイルの変化、芸術的概念全体の最適化が可能になる。
さらに、SEGAは潜在空間を探索することで、モデルによって学習された概念、例えば「炭素放出」のような複雑な概念の表現についての洞察を得ることができる。
いくつかのタスクで安定したアーティストを示し、高品質な画像編集と構成を示す。
関連論文リスト
- Editable Image Elements for Controllable Synthesis [79.58148778509769]
拡散モデルを用いて入力画像の空間的編集を促進する画像表現を提案する。
オブジェクトのリサイズ,再配置,ドラッグング,デオクルージョン,除去,変動,画像合成など,画像編集作業における表現の有効性を示す。
論文 参考訳（メタデータ） (2024-04-24T17:59:11Z) - TextCraftor: Your Text Encoder Can be Image Quality Controller [65.27457900325462]
拡散に基づくテキスト・画像生成モデル(例えば、安定拡散)は、コンテンツ生成の分野に革命をもたらした。
本研究では,テキスト・ツー・イメージ拡散モデルの性能を向上させるための微調整手法であるTextCraftorを提案する。
論文 参考訳（メタデータ） (2024-03-27T19:52:55Z) - DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image
Editing [66.43179841884098]
大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。
既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。
本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
論文 参考訳（メタデータ） (2024-02-04T18:50:29Z) - Highly Personalized Text Embedding for Image Manipulation by Stable
Diffusion [34.662798793560995]
高度にパーソナライズされた(PerHi)テキスト埋め込みを用いたパーソナライズ手法を提案する。
本手法では, モデル微調整や識別子を必要としないが, 背景, テクスチャ, 動きを1つの画像とターゲットテキストで操作できる。
論文 参考訳（メタデータ） (2023-03-15T17:07:45Z) - Zero-shot Image-to-Image Translation [57.46189236379433]
手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。
本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。
本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
論文 参考訳（メタデータ） (2023-02-06T18:59:51Z) - SEGA: Instructing Text-to-Image Models using Semantic Guidance [33.080261792998826]
拡散過程と相互作用し、意味的な方向に沿って柔軟に操る方法を示す。
SEGAは、分類器フリーガイダンスを使用して、任意の生成アーキテクチャに一般化する。
微妙で広範囲な編集、構成やスタイルの変更、芸術的概念全体の最適化を可能にしている。
論文 参考訳（メタデータ） (2023-01-28T16:43:07Z) - Plug-and-Play Diffusion Features for Text-Driven Image-to-Image
Translation [10.39028769374367]
本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。
本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
論文 参考訳（メタデータ） (2022-11-22T20:39:18Z) - DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。
私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
論文 参考訳（メタデータ） (2022-10-20T17:16:37Z) - FlexIT: Towards Flexible Semantic Image Translation [59.09398209706869]
我々は,任意の入力画像とユーザが定義したテキストを編集するための新しい方法であるFlexITを提案する。
まず、FlexITは入力画像とテキストをCLIPマルチモーダル埋め込み空間内の単一のターゲットポイントに結合する。
我々は、入力画像を目標点に向けて反復的に変換し、新しい正規化用語で一貫性と品質を確保する。
論文 参考訳（メタデータ） (2022-03-09T13:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。