論文の概要: Conditional Human Sketch Synthesis with Explicit Abstraction Control
- arxiv url: http://arxiv.org/abs/2306.09274v1
- Date: Thu, 15 Jun 2023 16:54:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 13:47:37.530272
- Title: Conditional Human Sketch Synthesis with Explicit Abstraction Control
- Title(参考訳): 明示的抽象制御による条件付き人間のスケッチ合成
- Authors: Dar-Yen Chen
- Abstract要約: 本稿では,クラス条件とフォト・ツー・スケッチ合成における抽象的制御に対処する,新しい自由手スケッチ合成手法を提案する。
本稿では,2つの新しい抽象化制御機構,状態埋め込みとストロークトークンをトランスフォーマベース潜在拡散モデルに統合する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel free-hand sketch synthesis approach addressing
explicit abstraction control in class-conditional and photo-to-sketch
synthesis. Abstraction is a vital aspect of sketches, as it defines the
fundamental distinction between a sketch and an image. Previous works relied on
implicit control to achieve different levels of abstraction, leading to
inaccurate control and synthesized sketches deviating from human sketches. To
resolve this challenge, we propose two novel abstraction control mechanisms,
state embeddings and the stroke token, integrated into a transformer-based
latent diffusion model (LDM). These mechanisms explicitly provide the required
amount of points or strokes to the model, enabling accurate point-level and
stroke-level control in synthesized sketches while preserving recognizability.
Outperforming state-of-the-art approaches, our method effectively generates
diverse, non-rigid and human-like sketches. The proposed approach enables
coherent sketch synthesis and excels in representing human habits with desired
abstraction levels, highlighting the potential of sketch synthesis for
real-world applications.
- Abstract(参考訳): 本稿では,クラス条件とフォト・ツー・スケッチ合成における抽象的制御に対処する,新しい自由手スケッチ合成手法を提案する。
スケッチとイメージの基本的な区別を定義するため、抽象化はスケッチの重要な側面である。
以前の作品は、異なるレベルの抽象化を達成するために暗黙の制御に依存しており、不正確な制御と人間のスケッチから逸脱したスケッチを合成している。
この課題を解決するために, トランスフォーマチック型潜在拡散モデル (ldm) に統合された2つの新しい抽象化制御機構, 状態埋め込みとストロークトークンを提案する。
これらのメカニズムはモデルに必要な点数やストロークを明示的に提供し、認識性を保ちながら合成スケッチにおいて正確な点レベルとストロークレベルの制御を可能にする。
そこで本手法は,多種多様で非剛性で人間らしいスケッチを効果的に生成する。
提案手法は,協調的なスケッチ合成を可能にし,人間の習慣を望ましい抽象レベルで表現し,現実のアプリケーションにおけるスケッチ合成の可能性を強調する。
関連論文リスト
- It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。
私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
論文 参考訳(メタデータ) (2024-03-12T01:05:25Z) - How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。
粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。
私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
論文 参考訳(メタデータ) (2024-03-11T23:08:29Z) - CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳(メタデータ) (2024-02-27T15:52:59Z) - DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。
我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。
我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
論文 参考訳(メタデータ) (2023-05-30T07:59:23Z) - Semantics-Preserving Sketch Embedding for Face Generation [26.15479367792076]
本稿では,W+空間の高表現力を活用するために,新しいW-W+エンコーダアーキテクチャを提案する。
また、スケッチセマンティック埋め込みのための明示的な中間表現も導入する。
ベクトル化されたスケッチから意味を自動的に抽出する新しいスケッチ意味解釈手法が設計されている。
論文 参考訳(メタデータ) (2022-11-23T15:14:49Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳(メタデータ) (2022-05-09T04:23:36Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳(メタデータ) (2020-08-24T17:59:46Z) - Example-Guided Image Synthesis across Arbitrary Scenes using Masked
Spatial-Channel Attention and Self-Supervision [83.33283892171562]
実例誘導画像合成は,最近セマンティックラベルマップと模範画像から画像を合成するために試みられている。
本稿では,ラベルマップと意味的に異なる任意のシーンイメージを例に,より困難で汎用的な課題に取り組む。
本稿では,グローバル・ローカルな特徴アライメントと合成のためのエンドツーエンドネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-18T18:17:40Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳(メタデータ) (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。