論文の概要: A 3D Mesh-based Lifting-and-Projection Network for Human Pose Transfer

• arxiv url: http://arxiv.org/abs/2109.11719v1
• Date: Fri, 24 Sep 2021 03:03:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:05:07.894016
• Title: A 3D Mesh-based Lifting-and-Projection Network for Human Pose Transfer
• Title（参考訳）: 人間のポーズ伝達のための3次元メッシュを用いた昇降・投射ネットワーク
• Authors: Jinxiang Liu, Yangheng Zhao, Siheng Chen and Ya Zhang
• Abstract要約: 本稿では3次元メッシュ空間でポーズ転送を行うためのリフト・アンド・プロジェクションフレームワークを提案する。 以前の人体形状を活用するために、LPNetは体メッシュのトポロジ的情報を利用する。 テクスチャの詳細を保存するために、LPNetが生成した機能を、ソースフォアグラウンドイメージで強化するためにADCNetが導入された。
• 参考スコア（独自算出の注目度）: 25.681557081096805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human pose transfer has typically been modeled as a 2D image-to-image translation problem. This formulation ignores the human body shape prior in 3D space and inevitably causes implausible artifacts, especially when facing occlusion. To address this issue, we propose a lifting-and-projection framework to perform pose transfer in the 3D mesh space. The core of our framework is a foreground generation module, that consists of two novel networks: a lifting-and-projection network (LPNet) and an appearance detail compensating network (ADCNet). To leverage the human body shape prior, LPNet exploits the topological information of the body mesh to learn an expressive visual representation for the target person in the 3D mesh space. To preserve texture details, ADCNet is further introduced to enhance the feature produced by LPNet with the source foreground image. Such design of the foreground generation module enables the model to better handle difficult cases such as those with occlusions. Experiments on the iPER and Fashion datasets empirically demonstrate that the proposed lifting-and-projection framework is effective and outperforms the existing image-to-image-based and mesh-based methods on human pose transfer task in both self-transfer and cross-transfer settings.
• Abstract（参考訳）: ヒトのポーズ伝達は通常、画像から画像への2次元翻訳問題としてモデル化されている。 この定式化は、3次元空間に先行する人体形状を無視し、特に閉塞に直面したとき、不可解な人工物を引き起こす。 この問題に対処するために,3次元メッシュ空間におけるポーズ転送を行うリフトアンドプロジェクションフレームワークを提案する。 我々のフレームワークのコアは、リフト・アンド・プロジェクション・ネットワーク(LPNet)と外観詳細補償ネットワーク(ADCNet)の2つの新しいネットワークで構成される前景生成モジュールである。 LPNetは、人体形状を利用するために、体メッシュのトポロジ的情報を利用して、3Dメッシュ空間における対象人物の表現的視覚表現を学習する。 テクスチャの詳細を保存するために、ADCNetはさらに導入され、LPNetによって生成された特徴をソースフォアグラウンドイメージで拡張する。 このような前景生成モジュールの設計により、オクルージョンを持つような難しいケースをよりよく扱うことができる。 iperとファッションデータセットに関する実験は、提案手法が有効であることを実証的に示しており、自己転送とクロス転送の両方において、既存の画像から画像への移動とメッシュベースの方法よりも優れています。

関連論文リスト

• Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction [50.94171353583328]
  3Dポーズ転送の目標は、アイデンティティ情報を保存しながら、ソースメッシュからターゲットメッシュにポーズを転送することである。 深層学習に基づく手法は、3Dポーズ転送の効率と性能を改善した。 X-DualNetは、教師なしの3Dポーズ転送を可能にするシンプルで効果的なアプローチである。
  論文  参考訳（メタデータ） (2022-11-18T15:09:56Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• 3D Pose Transfer with Correspondence Learning and Mesh Refinement [41.92922228475176]
  3Dポーズ転送は、最も困難な3D生成タスクの1つである。 本研究では,人間と動物のメッシュの3次元ポーズ伝達を支援するための通信抑制ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-30T11:49:03Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Pose-Guided High-Resolution Appearance Transfer via Progressive Training [65.92031716146865]
  前例のない画像解像度で、所定の参照外観をターゲットポーズに転送するためのポーズ誘導型外観伝達ネットワークを提案する。 我々のネットワークは、局所的な知覚喪失や局所的な識別など、密集した局所記述子を用いて詳細を精査する。 我々のモデルは高品質な画像を生成し、人間の衣服の移動などの有用な応用にさらに活用することができる。
  論文  参考訳（メタデータ） (2020-08-27T03:18:44Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
  本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
  論文  参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。