論文の概要: Style and Pose Control for Image Synthesis of Humans from a Single Monocular View

• arxiv url: http://arxiv.org/abs/2102.11263v1
• Date: Mon, 22 Feb 2021 18:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 14:55:35.643409
• Title: Style and Pose Control for Image Synthesis of Humans from a Single Monocular View
• Title（参考訳）: 単眼視による人間の画像合成のためのスタイルとポーズ制御
• Authors: Kripasindhu Sarkar and Vladislav Golyanik and Lingjie Liu and Christian Theobalt
• Abstract要約: StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
• 参考スコア（独自算出の注目度）: 78.6284090004218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photo-realistic re-rendering of a human from a single image with explicit control over body pose, shape and appearance enables a wide range of applications, such as human appearance transfer, virtual try-on, motion imitation, and novel view synthesis. While significant progress has been made in this direction using learning-based image generation tools, such as GANs, existing approaches yield noticeable artefacts such as blurring of fine details, unrealistic distortions of the body parts and garments as well as severe changes of the textures. We, therefore, propose a new method for synthesising photo-realistic human images with explicit control over pose and part-based appearance, i.e., StylePoseGAN, where we extend a non-controllable generator to accept conditioning of pose and appearance separately. Our network can be trained in a fully supervised way with human images to disentangle pose, appearance and body parts, and it significantly outperforms existing single image re-rendering methods. Our disentangled representation opens up further applications such as garment transfer, motion transfer, virtual try-on, head (identity) swap and appearance interpolation. StylePoseGAN achieves state-of-the-art image generation fidelity on common perceptual metrics compared to the current best-performing methods and convinces in a comprehensive user study.
• Abstract（参考訳）: 身体のポーズ、形状、外観を明示的に制御した単一の画像からの人間の写真現実的再レンダリングは、人間の外観転送、仮想試行、モーション模倣、および新しいビュー合成などの幅広いアプリケーションを可能にします。 GANのような学習ベースの画像生成ツールを使用して、この方向で大きな進歩を遂げていますが、既存のアプローチは、細かい細部のぼやけ、身体の部品や衣服の非現実的な歪み、およびテクスチャの深刻な変化などの顕著な成果物を生み出します。 そこで本研究では,ポーズとパートベースの外観を明示的に制御した,フォトリアリスティックな人間のイメージを合成する新しい方法,すなわちStylePoseGANを提案する。ここでは,ポーズと外観のコンディショニングを個別に受け入れる非制御ジェネレータを拡張する。 私たちのネットワークは、人間のイメージと完全に監督された方法でトレーニングでき、ポーズ、外観、体の一部を区別することができます。 この不整合表現は,衣服の移動,移動移動,仮想トライオン,頭部(同一性)スワップ,外観補間など,さらなる応用を開拓する。 StylePoseGANは、現在の最高のパフォーマンス手法や総合的なユーザスタディの納得度と比較して、一般的な知覚的メトリクスにおける最先端の画像生成フィデリティを達成する。

関連論文リスト

• Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
  Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
  論文  参考訳（メタデータ） (2022-10-07T15:31:37Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• HumanGAN: A Generative Model of Humans Images [78.6284090004218]
  本研究では,ポーズ,局所的な身体部分の外観,衣料品スタイルを制御できる服装者の画像生成モデルを提案する。 本モデルでは,正規化されたポーズ非依存空間に部分的潜在性出現ベクトルをエンコードし,異なるポーズに誘導し,様々な姿勢で身体や衣服の外観を保っている。
  論文  参考訳（メタデータ） (2021-03-11T19:00:38Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
  身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。 既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。 我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。 我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
  論文  参考訳（メタデータ） (2020-12-07T15:38:29Z)
• Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
  本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。 本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
  論文  参考訳（メタデータ） (2020-07-17T15:58:05Z)
• Do As I Do: Transferring Human Motion and Appearance between Monocular Videos with Spatial and Temporal Constraints [8.784162652042959]
  画像からのマーカレス人間の動き推定と形状モデリングは、この課題を先進国にもたらす。 本稿では,モノクラービデオから外見や人間の動きを伝達するための統一的な定式化を提案する。 本手法は,人間の動作と外観の両方を,最先端の手法で転送することができる。
  論文  参考訳（メタデータ） (2020-01-08T16:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。