論文の概要: Pose Guided Human Image Synthesis with Partially Decoupled GAN

• arxiv url: http://arxiv.org/abs/2210.03627v1
• Date: Fri, 7 Oct 2022 15:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 12:56:52.286383
• Title: Pose Guided Human Image Synthesis with Partially Decoupled GAN
• Title（参考訳）: 部分疎結合GANを用いたポースガイドヒト画像合成
• Authors: Jianhan Wu and Jianzong Wang and Shijing Si and Xiaoyang Qu and Jing Xiao
• Abstract要約: Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
• 参考スコア（独自算出の注目度）: 25.800174118151638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pose Guided Human Image Synthesis (PGHIS) is a challenging task of transforming a human image from the reference pose to a target pose while preserving its style. Most existing methods encode the texture of the whole reference human image into a latent space, and then utilize a decoder to synthesize the image texture of the target pose. However, it is difficult to recover the detailed texture of the whole human image. To alleviate this problem, we propose a method by decoupling the human body into several parts (\eg, hair, face, hands, feet, \etc) and then using each of these parts to guide the synthesis of a realistic image of the person, which preserves the detailed information of the generated images. In addition, we design a multi-head attention-based module for PGHIS. Because most convolutional neural network-based methods have difficulty in modeling long-range dependency due to the convolutional operation, the long-range modeling capability of attention mechanism is more suitable than convolutional neural networks for pose transfer task, especially for sharp pose deformation. Extensive experiments on Market-1501 and DeepFashion datasets reveal that our method almost outperforms other existing state-of-the-art methods in terms of both qualitative and quantitative metrics.
• Abstract（参考訳）: Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する上で、そのスタイルを保ちながら課題となる課題である。 既存のほとんどの方法は、参照された人間のイメージ全体のテクスチャを潜在空間にエンコードし、デコーダを使用してターゲットポーズのイメージテクスチャを合成する。 しかし、人間のイメージ全体の詳細なテクスチャを復元することは困難である。 そこで本研究では, 人体を複数の部分(毛髪, 顔, 手, 足, 足, 足)に分解し, それぞれの部分を用いて, 生成した画像の詳細な情報を保持する, 現実的な画像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。 ほとんどの畳み込みニューラルネットワークは畳み込み操作による長距離依存性のモデル化が困難であるため、特に鋭いポーズ変形のための畳み込みニューラルネットワークよりもアテンション機構の長距離モデリング能力が適している。 Market-1501とDeepFashionのデータセットに関する大規模な実験により、我々の手法は定性的および定量的な指標の両方の観点から、既存の最先端の手法をほぼ上回ります。

関連論文リスト

• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches [75.4318318890065]
  本稿では、大まかに描かれたスケッチをリアルな人体画像に変換するためのフレームワークであるDeepDrawingを紹介する。 様々なポーズの下で複雑な体形を符号化するために,我々は局所的・言語的アプローチをとる。 本手法は,最新のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成する。
  論文  参考訳（メタデータ） (2022-05-04T14:02:45Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)
• Structure-aware Person Image Generation with Pose Decomposition and Semantic Correlation [29.727033198797518]
  高品質な人物画像生成のための構造認識フローベース手法を提案する。 人体を異なる意味部分に分解し、異なるネットワークを適用してこれらの部分のフロー場を別々に予測する。 提案手法は,ポーズの相違が大きい場合に高品質な結果を生成することができ,定性比較と定量的比較の両方において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2021-02-05T03:07:57Z)
• Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [58.05389586712485]
  我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-18T02:57:47Z)
• A Robust Pose Transformational GAN for Pose Guided Person Image Synthesis [9.570395744724461]
  任意のポーズで与えられた人物画像を生成するために,付加的な特徴学習を伴わない残差学習手法を用いて,シンプルで効果的なポーズ変換GANを提案する。 効率的なデータ拡張技術と巧妙にモデルをチューニングすることで、照明、閉塞、歪み、スケールの点で堅牢性を実現する。 本稿では,2つの大規模データセット上での既存手法よりもモデルの方が優れていることを示すために,定性的かつ定量的に詳細な研究を行う。
  論文  参考訳（メタデータ） (2020-01-05T15:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。