論文の概要: Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control

• arxiv url: http://arxiv.org/abs/2404.15889v1
• Date: Wed, 24 Apr 2024 14:24:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:01:10.923921
• Title: Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control
• Title（参考訳）: Sketch2Human: 絡み合った幾何学と外観制御を備えた深部人材育成
• Authors: Linzi Qu, Jiaxiang Shang, Hui Ye, Xiaoguang Han, Hongbo Fu,
• Abstract要約: この研究はSketch2Humanを、セマンティックスケッチでガイドされた、フルボディの人体画像生成を制御可能な最初のシステムとして紹介する。 本稿では,StyleGAN-Humanの潜伏空間からサンプル化した大規模な合成データセットを用いて訓練したスケッチエンコーダを提案する。 本手法は合成データを用いて訓練されているが,手描きスケッチも扱える。
• 参考スコア（独自算出の注目度）: 27.23770287587972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Geometry- and appearance-controlled full-body human image generation is an interesting but challenging task. Existing solutions are either unconditional or dependent on coarse conditions (e.g., pose, text), thus lacking explicit geometry and appearance control of body and garment. Sketching offers such editing ability and has been adopted in various sketch-based face generation and editing solutions. However, directly adapting sketch-based face generation to full-body generation often fails to produce high-fidelity and diverse results due to the high complexity and diversity in the pose, body shape, and garment shape and texture. Recent geometrically controllable diffusion-based methods mainly rely on prompts to generate appearance and it is hard to balance the realism and the faithfulness of their results to the sketch when the input is coarse. This work presents Sketch2Human, the first system for controllable full-body human image generation guided by a semantic sketch (for geometry control) and a reference image (for appearance control). Our solution is based on the latent space of StyleGAN-Human with inverted geometry and appearance latent codes as input. Specifically, we present a sketch encoder trained with a large synthetic dataset sampled from StyleGAN-Human's latent space and directly supervised by sketches rather than real images. Considering the entangled information of partial geometry and texture in StyleGAN-Human and the absence of disentangled datasets, we design a novel training scheme that creates geometry-preserved and appearance-transferred training data to tune a generator to achieve disentangled geometry and appearance control. Although our method is trained with synthetic data, it can handle hand-drawn sketches as well. Qualitative and quantitative evaluations demonstrate the superior performance of our method to state-of-the-art methods.
• Abstract（参考訳）: 幾何学的および外観制御されたフルボディ画像生成は興味深いが難しい課題である。 既存のソリューションは、無条件または粗い条件(例えば、ポーズ、テキスト)に依存しているため、明示的な幾何学と体と衣服の外観制御が欠如している。 スケッチはそのような編集機能を提供し、様々なスケッチベースの顔生成および編集ソリューションで採用されている。 しかしながら、スケッチベースの顔生成をフルボディ生成に直接適応させると、ポーズ、体型、衣服の形、テクスチャの複雑さと多様性のために、高忠実で多様な結果が得られないことが多い。 最近の幾何学的に制御可能な拡散法は主に外見を生成するプロンプトに依存しており、入力が粗い場合の現実主義と結果の忠実さのバランスをとることは困難である。 本研究はSketch2Humanについて述べる。Sketch2Humanは、セマンティックスケッチ(幾何学制御用)と参照イメージ(外観制御用)でガイドされる、フルボディの人体画像生成を制御可能な最初のシステムである。 我々の解は、逆幾何と出現潜時符号を入力とするStyleGAN-Humanの潜時空間に基づいている。 具体的には,StyleGAN-Humanの潜伏空間からサンプル化した大規模な合成データセットを用いて訓練されたスケッチエンコーダについて述べる。 そこで我々は,StyleGAN-Humanにおける部分幾何学とテクスチャの絡み合った情報と,非絡み合ったデータセットが存在しないことを考慮し,ジオメトリー保存および外観変換によるトレーニングデータを作成し,非絡み合った幾何学と外観制御を実現するための新しいトレーニングスキームを設計する。 本手法は合成データを用いて訓練されているが,手描きスケッチも扱える。 定性的および定量的評価は,本手法の最先端手法に対する優れた性能を示すものである。

関連論文リスト

• Human-Inspired Facial Sketch Synthesis with Dynamic Adaptation [25.293899668984018]
  顔画像から鮮明なスケッチ画像を生成することを目的とした顔画像合成(FSS)。 本稿では,Human-Inspired Dynamic Adaptation (HIDA)法を提案する。 HIDAは複数のスタイルで高品質なスケッチを生成することができ、従来の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-09-01T02:27:05Z)
• DiffFaceSketch: High-Fidelity Face Image Synthesis with Sketch-Guided Latent Diffusion Model [8.1818090854822]
  我々は,Sketch-Guided Latent Diffusion Model (SGLDM)を紹介した。 SGLDMは、さまざまな抽象レベルのスケッチから、異なる表情、顔のアクセサリー、ヘアスタイルで高品質な顔画像を合成することができる。
  論文  参考訳（メタデータ） (2023-02-14T08:51:47Z)
• DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches [75.4318318890065]
  本稿では、大まかに描かれたスケッチをリアルな人体画像に変換するためのフレームワークであるDeepDrawingを紹介する。 様々なポーズの下で複雑な体形を符号化するために,我々は局所的・言語的アプローチをとる。 本手法は,最新のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成する。
  論文  参考訳（メタデータ） (2022-05-04T14:02:45Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• SimpModeling: Sketching Implicit Field to Guide Mesh Modeling for 3D Animalmorphic Head Design [40.821865912127635]
  そこで本研究では,3次元動物型頭部の簡易なモデリングを支援するスケッチベースシステムであるSimpModelingを提案する。 我々は,手書きスケッチと合成スケッチの領域間を効果的に処理できる高度な暗黙的形状推論手法を用いる。 また、アーティストが手作業で作成する高品質な3D動物の頭部のデータセットにも貢献する。
  論文  参考訳（メタデータ） (2021-08-05T12:17:36Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Unsupervised Shape and Pose Disentanglement for 3D Meshes [49.431680543840706]
  本研究では,非教師付き環境において,非教師付き形状とポーズ表現を学習するための,シンプルで効果的なアプローチを提案する。 自己整合性と相互整合性の制約を組み合わせて、登録メッシュからポーズと空間の形状を学ぶ。 ポーズ転送や形状検索などのタスクを通じて,学習した表現の有用性を示す。
  論文  参考訳（メタデータ） (2020-07-22T11:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。