論文の概要: Block and Detail: Scaffolding Sketch-to-Image Generation
- arxiv url: http://arxiv.org/abs/2402.18116v1
- Date: Wed, 28 Feb 2024 07:09:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:07:44.151700
- Title: Block and Detail: Scaffolding Sketch-to-Image Generation
- Title(参考訳): ブロックとディテール:スキャフォールディングスケッチから画像への生成
- Authors: Vishnu Sarukkai, Lu Yuan, Mia Tang, Maneesh Agrawala, Kayvon
Fatahalian
- Abstract要約: アーティストの反復的な洗練プロセスと整合する新しいスケッチ・ツー・イメージ・ツールを提案する。
私たちのツールは、ブロックされたストロークをスケッチして、オブジェクトの配置や形を粗く表現し、詳細なストロークを表現して、形やシルエットを洗練します。
反復過程の任意の点において、そのようなスケッチから高忠実度画像を生成するための2パスアルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 70.34211439488223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel sketch-to-image tool that aligns with the iterative
refinement process of artists. Our tool lets users sketch blocking strokes to
coarsely represent the placement and form of objects and detail strokes to
refine their shape and silhouettes. We develop a two-pass algorithm for
generating high-fidelity images from such sketches at any point in the
iterative process. In the first pass we use a ControlNet to generate an image
that strictly follows all the strokes (blocking and detail) and in the second
pass we add variation by renoising regions surrounding blocking strokes. We
also present a dataset generation scheme that, when used to train a ControlNet
architecture, allows regions that do not contain strokes to be interpreted as
not-yet-specified regions rather than empty space. We show that this
partial-sketch-aware ControlNet can generate coherent elements from partial
sketches that only contain a small number of strokes. The high-fidelity images
produced by our approach serve as scaffolds that can help the user adjust the
shape and proportions of objects or add additional elements to the composition.
We demonstrate the effectiveness of our approach with a variety of examples and
evaluative comparisons.
- Abstract(参考訳): 本稿では,アーティストの反復的リファインメントプロセスに適合する新しいスケッチ・ツー・イメージツールを提案する。
私たちのツールは、ブロッキングストロークをスケッチしてオブジェクトの配置や形を粗く表現し、ディテールストロークを使って形やシルエットを洗練します。
反復過程において,そのようなスケッチから高忠実度画像を生成する2パスアルゴリズムを開発した。
最初のパスでは、コントロールネットを使用して、すべてのストローク(ブロックと詳細)を厳格に追従するイメージを生成します。
また,コントロールネットアーキテクチャのトレーニングに使用すると,ストロークを含まない領域が空空間ではなく,非指定領域として解釈されるように,データセット生成スキームを提案する。
この部分スケッチ認識制御ネットは,少数のストロークのみを含む部分スケッチからコヒーレントな要素を生成することができる。
提案手法により得られた高忠実度画像は,オブジェクトの形状や比率を調整したり,合成に付加的な要素を加えるのに役立つ足場として機能する。
提案手法の有効性を,様々な実例と評価比較を用いて示す。
関連論文リスト
- CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳(メタデータ) (2024-02-27T15:52:59Z) - Image Collage on Arbitrary Shape via Shape-Aware Slicing and
Optimization [6.233023267175408]
任意の形状の画像コラージュを作成することができる形状スライシングアルゴリズムと最適化方式を提案する。
形状認識スライシング(Shape-Aware Slicing)は、不規則な形状に特化して設計されており、人間の知覚と形状構造を考慮に入れ、視覚的に心地よい仕切りを生成する。
論文 参考訳(メタデータ) (2023-11-17T09:41:30Z) - Reference-based Image Composition with Sketch via Structure-aware
Diffusion Model [38.1193912666578]
本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。
スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。
筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
論文 参考訳(メタデータ) (2023-03-31T06:12:58Z) - SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。
このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。
本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
論文 参考訳(メタデータ) (2022-11-21T18:59:05Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳(メタデータ) (2022-05-09T04:23:36Z) - SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。
本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。
ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
論文 参考訳(メタデータ) (2021-11-30T02:42:31Z) - Learning to Caricature via Semantic Shape Transform [95.25116681761142]
本稿では,意味的形状変換に基づくアルゴリズムを提案する。
提案手法は,顔の構造を維持しつつ,視覚的に心地よい形状の誇張を表現できることを示す。
論文 参考訳(メタデータ) (2020-08-12T03:41:49Z) - Deep Generation of Face Images from Sketches [36.146494762987146]
ディープ・イメージ・ツー・イメージの翻訳技術により、フリーハンドスケッチから高速に顔画像を生成することができる。
既存のソリューションはスケッチに過度に適合する傾向にあり、プロのスケッチやエッジマップを入力として必要とします。
本稿では,画像の形状空間を暗黙的にモデル化し,この空間の顔画像を合成し,入力スケッチを近似する手法を提案する。
本手法は,入力スケッチをソフトな制約として使用することにより,粗いスケッチや不完全なスケッチであっても高品質な顔画像を生成することができる。
論文 参考訳(メタデータ) (2020-06-01T16:20:23Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳(メタデータ) (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。