論文の概要: DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches

• arxiv url: http://arxiv.org/abs/2205.02070v1
• Date: Wed, 4 May 2022 14:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 17:58:47.168102
• Title: DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches
• Title（参考訳）: DeepPortrait Drrawing: フリーハンドスケッチから人体画像を生成する
• Authors: Xian Wu, Chen Wang, Hongbo Fu, Ariel Shamir, Song-Hai Zhang, Shi-Min Hu
• Abstract要約: 本稿では、大まかに描かれたスケッチをリアルな人体画像に変換するためのフレームワークであるDeepDrawingを紹介する。 様々なポーズの下で複雑な体形を符号化するために,我々は局所的・言語的アプローチをとる。 本手法は,最新のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成する。
• 参考スコア（独自算出の注目度）: 75.4318318890065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Researchers have explored various ways to generate realistic images from freehand sketches, e.g., for objects and human faces. However, how to generate realistic human body images from sketches is still a challenging problem. It is, first because of the sensitivity to human shapes, second because of the complexity of human images caused by body shape and pose changes, and third because of the domain gap between realistic images and freehand sketches. In this work, we present DeepPortraitDrawing, a deep generative framework for converting roughly drawn sketches to realistic human body images. To encode complicated body shapes under various poses, we take a local-to-global approach. Locally, we employ semantic part auto-encoders to construct part-level shape spaces, which are useful for refining the geometry of an input pre-segmented hand-drawn sketch. Globally, we employ a cascaded spatial transformer network to refine the structure of body parts by adjusting their spatial locations and relative proportions. Finally, we use a global synthesis network for the sketch-to-image translation task, and a face refinement network to enhance facial details. Extensive experiments have shown that given roughly sketched human portraits, our method produces more realistic images than the state-of-the-art sketch-to-image synthesis techniques.
• Abstract（参考訳）: 研究者は、例えば物体や人間の顔のフリーハンドスケッチからリアルな画像を生成する様々な方法を模索してきた。 しかし、スケッチからリアルな人体画像を生成する方法はまだ難しい課題である。 第一に人間の形に対する感受性、第二に体型やポーズの変化による人間のイメージの複雑さ、第三に写実的な画像とフリーハンドのスケッチの領域差によるものである。 本研究では,大まかなスケッチをリアルな人体画像に変換するための深層生成フレームワークであるDeepPortraitDrawingを紹介する。 様々なポーズで複雑な体形を符号化するために、我々は局所からグローバルへのアプローチを取る。 局所的に, 意味的部分自動エンコーダを用いて部分レベルの形状空間を構築し, 入力された手描きスケッチの形状の解明に有用である。 グローバルに,空間的位置と相対比を調整し,身体部分の構造を洗練させるために,カスケード型空間トランスフォーマーネットワークを用いる。 最後に、スケッチから画像への翻訳タスクにグローバル合成ネットワークと顔の細部を強調する顔修正ネットワークを用いる。 おおまかにスケッチされたヒトの肖像画を総合的に実験した結果,本手法は最先端のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成することがわかった。

関連論文リスト

• Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control [27.23770287587972]
  この研究はSketch2Humanを、セマンティックスケッチでガイドされた、フルボディの人体画像生成を制御可能な最初のシステムとして紹介する。 本稿では,StyleGAN-Humanの潜伏空間からサンプル化した大規模な合成データセットを用いて訓練したスケッチエンコーダを提案する。 本手法は合成データを用いて訓練されているが,手描きスケッチも扱える。
  論文  参考訳（メタデータ） (2024-04-24T14:24:57Z)
• Human-Inspired Facial Sketch Synthesis with Dynamic Adaptation [25.293899668984018]
  顔画像から鮮明なスケッチ画像を生成することを目的とした顔画像合成(FSS)。 本稿では,Human-Inspired Dynamic Adaptation (HIDA)法を提案する。 HIDAは複数のスタイルで高品質なスケッチを生成することができ、従来の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-09-01T02:27:05Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
  Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
  論文  参考訳（メタデータ） (2022-10-07T15:31:37Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Deep Generation of Face Images from Sketches [36.146494762987146]
  ディープ・イメージ・ツー・イメージの翻訳技術により、フリーハンドスケッチから高速に顔画像を生成することができる。 既存のソリューションはスケッチに過度に適合する傾向にあり、プロのスケッチやエッジマップを入力として必要とします。 本稿では,画像の形状空間を暗黙的にモデル化し,この空間の顔画像を合成し,入力スケッチを近似する手法を提案する。 本手法は,入力スケッチをソフトな制約として使用することにより,粗いスケッチや不完全なスケッチであっても高品質な顔画像を生成することができる。
  論文  参考訳（メタデータ） (2020-06-01T16:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。