論文の概要: Conditional Human Sketch Synthesis with Explicit Abstraction Control

• arxiv url: http://arxiv.org/abs/2306.09274v1
• Date: Thu, 15 Jun 2023 16:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 13:47:37.530272
• Title: Conditional Human Sketch Synthesis with Explicit Abstraction Control
• Title（参考訳）: 明示的抽象制御による条件付き人間のスケッチ合成
• Authors: Dar-Yen Chen
• Abstract要約: 本稿では,クラス条件とフォト・ツー・スケッチ合成における抽象的制御に対処する,新しい自由手スケッチ合成手法を提案する。 本稿では,2つの新しい抽象化制御機構,状態埋め込みとストロークトークンをトランスフォーマベース潜在拡散モデルに統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel free-hand sketch synthesis approach addressing explicit abstraction control in class-conditional and photo-to-sketch synthesis. Abstraction is a vital aspect of sketches, as it defines the fundamental distinction between a sketch and an image. Previous works relied on implicit control to achieve different levels of abstraction, leading to inaccurate control and synthesized sketches deviating from human sketches. To resolve this challenge, we propose two novel abstraction control mechanisms, state embeddings and the stroke token, integrated into a transformer-based latent diffusion model (LDM). These mechanisms explicitly provide the required amount of points or strokes to the model, enabling accurate point-level and stroke-level control in synthesized sketches while preserving recognizability. Outperforming state-of-the-art approaches, our method effectively generates diverse, non-rigid and human-like sketches. The proposed approach enables coherent sketch synthesis and excels in representing human habits with desired abstraction levels, highlighting the potential of sketch synthesis for real-world applications.
• Abstract（参考訳）: 本稿では,クラス条件とフォト・ツー・スケッチ合成における抽象的制御に対処する,新しい自由手スケッチ合成手法を提案する。 スケッチとイメージの基本的な区別を定義するため、抽象化はスケッチの重要な側面である。 以前の作品は、異なるレベルの抽象化を達成するために暗黙の制御に依存しており、不正確な制御と人間のスケッチから逸脱したスケッチを合成している。 この課題を解決するために, トランスフォーマチック型潜在拡散モデル (ldm) に統合された2つの新しい抽象化制御機構, 状態埋め込みとストロークトークンを提案する。 これらのメカニズムはモデルに必要な点数やストロークを明示的に提供し、認識性を保ちながら合成スケッチにおいて正確な点レベルとストロークレベルの制御を可能にする。 そこで本手法は,多種多様で非剛性で人間らしいスケッチを効果的に生成する。 提案手法は,協調的なスケッチ合成を可能にし,人間の習慣を望ましい抽象レベルで表現し,現実のアプリケーションにおけるスケッチ合成の可能性を強調する。

関連論文リスト

• VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
  本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。 提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
  論文  参考訳（メタデータ） (2024-10-30T16:11:05Z)
• Abstract Art Interpretation Using ControlNet [0.0]
  我々は、ユーザがより細かい合成過程を制御できるようにし、合成画像のさらなる操作を可能にします。 抽象画に見られるミニマリスト形式に触発されて、三角形のような幾何学的原始的要素から作られた新しい条件を導入する。
  論文  参考訳（メタデータ） (2024-08-23T06:25:54Z)
• Multi-Style Facial Sketch Synthesis through Masked Generative Modeling [17.313050611750413]
  本稿では,画像と対応するマルチスタイリズドスケッチを効率よく変換する軽量なエンドツーエンド合成モデルを提案する。 本研究では,半教師付き学習を学習プロセスに取り入れることで,データ不足の問題を克服する。 提案手法は,複数のベンチマークで従来アルゴリズムより常に優れていた。
  論文  参考訳（メタデータ） (2024-08-22T13:45:04Z)
• It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
  本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。 私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
  論文  参考訳（メタデータ） (2024-03-12T01:05:25Z)
• How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval? [120.49126407479717]
  スケッチの抽象化を様々なレベルで処理できるスケッチベース画像検索フレームワークを提案する。 粒度レベルの抽象理解のために、検索モデルはすべての抽象レベルを等しく扱ってはならないと規定する。 私たちのAcc.@qの損失は、評価がいかに厳格であるかという点で、スケッチが焦点を絞りたり壊したりできます。
  論文  参考訳（メタデータ） (2024-03-11T23:08:29Z)
• CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing [21.12815542848095]
  大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。 既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。 スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
  論文  参考訳（メタデータ） (2024-02-27T15:52:59Z)
• DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
  スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。 我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。 我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
  論文  参考訳（メタデータ） (2023-05-30T07:59:23Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)
• Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision [83.33283892171562]
  実例誘導画像合成は,最近セマンティックラベルマップと模範画像から画像を合成するために試みられている。 本稿では,ラベルマップと意味的に異なる任意のシーンイメージを例に,より困難で汎用的な課題に取り組む。 本稿では,グローバル・ローカルな特徴アライメントと合成のためのエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-18T18:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。