論文の概要: Pose-Guided Human Animation from a Single Image in the Wild

• arxiv url: http://arxiv.org/abs/2012.03796v1
• Date: Mon, 7 Dec 2020 15:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:22:44.225419
• Title: Pose-Guided Human Animation from a Single Image in the Wild
• Title（参考訳）: 野生の単一画像からのポスガイドによる人間アニメーション
• Authors: Jae Shin Yoon, Lingjie Liu, Vladislav Golyanik, Kripasindhu Sarkar, Hyun Soo Park, Christian Theobalt
• Abstract要約: 身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。 既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。 我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。 我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
• 参考スコア（独自算出の注目度）: 83.86903892201656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new pose transfer method for synthesizing a human animation from a single image of a person controlled by a sequence of body poses. Existing pose transfer methods exhibit significant visual artifacts when applying to a novel scene, resulting in temporal inconsistency and failures in preserving the identity and textures of the person. To address these limitations, we design a compositional neural network that predicts the silhouette, garment labels, and textures. Each modular network is explicitly dedicated to a subtask that can be learned from the synthetic data. At the inference time, we utilize the trained network to produce a unified representation of appearance and its labels in UV coordinates, which remains constant across poses. The unified representation provides an incomplete yet strong guidance to generating the appearance in response to the pose change. We use the trained network to complete the appearance and render it with the background. With these strategies, we are able to synthesize human animations that can preserve the identity and appearance of the person in a temporally coherent way without any fine-tuning of the network on the testing scene. Experiments show that our method outperforms the state-of-the-arts in terms of synthesis quality, temporal coherence, and generalization ability.
• Abstract（参考訳）: 身体のポーズの順序によって制御される人の1つの画像から人間のアニメーションを合成する新しいポーズ伝達法を提案する。 既存のポーズ転送法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示し、その人のアイデンティティとテクスチャを保存するのに時間的不一貫性と失敗をもたらす。 これらの制限に対処するために、シルエット、衣料ラベル、テクスチャを予測する合成ニューラルネットワークを設計する。 各モジュールネットワークは、合成データから学べるサブタスクに明示的に割り当てられている。 推定時に、トレーニングされたネットワークを用いて、ポーズ間で一定である紫外線座標における外観とそのラベルの統一表現を生成する。 統一表現は、ポーズの変化に応じて外観を生成するための不完全だが強力なガイダンスを提供する。 トレーニングされたネットワークを使って外観を完了し、背景でレンダリングします。 これらの戦略により、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。 実験の結果,本手法は合成品質,時間的コヒーレンス,一般化能力において最先端の手法よりも優れていることがわかった。

関連論文リスト

• PixelHuman: Animatable Neural Radiance Fields from Few Images [27.932366091437103]
  我々は,人の数枚の画像からアニマタブルな人間のシーンを生成する新しいレンダリングモデルであるPixelHumanを提案する。 提案手法は既存の手法と異なり, 人体合成のための任意の入力画像に一般化可能である。 実験により,本手法はマルチビューで最先端の性能を達成し,少数ショット画像から新しいポーズ合成を実現する。
  論文  参考訳（メタデータ） (2023-07-18T08:41:17Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Human Pose Manipulation and Novel View Synthesis using Differentiable Rendering [46.04980667824064]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2021-11-24T19:00:07Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。