論文の概要: Creating and Reenacting Controllable 3D Humans with Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2110.11746v1
• Date: Fri, 22 Oct 2021 12:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 21:45:56.079817
• Title: Creating and Reenacting Controllable 3D Humans with Differentiable Rendering
• Title（参考訳）: 異なるレンダリングによる制御可能な3次元人間の作成と再現
• Authors: Thiago L. Gomes and Thiago M. Coutinho and Rafael Azevedo and Renato Martins and Erickson R. Nascimento
• Abstract要約: 本稿では,人間アクターの外観を伝達し再現する,エンドツーエンドのニューラルレンダリングアーキテクチャを提案する。 提案手法は、人体多様体構造をモデル化するために、慎重に設計されたグラフ畳み込みネットワーク(GCN)を利用する。 合成可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,本手法は完全に制御可能である。
• 参考スコア（独自算出の注目度）: 3.079885946230076
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper proposes a new end-to-end neural rendering architecture to transfer appearance and reenact human actors. Our method leverages a carefully designed graph convolutional network (GCN) to model the human body manifold structure, jointly with differentiable rendering, to synthesize new videos of people in different contexts from where they were initially recorded. Unlike recent appearance transferring methods, our approach can reconstruct a fully controllable 3D texture-mapped model of a person, while taking into account the manifold structure from body shape and texture appearance in the view synthesis. Specifically, our approach models mesh deformations with a three-stage GCN trained in a self-supervised manner on rendered silhouettes of the human body. It also infers texture appearance with a convolutional network in the texture domain, which is trained in an adversarial regime to reconstruct human texture from rendered images of actors in different poses. Experiments on different videos show that our method successfully infers specific body deformations and avoid creating texture artifacts while achieving the best values for appearance in terms of Structural Similarity (SSIM), Learned Perceptual Image Patch Similarity (LPIPS), Mean Squared Error (MSE), and Fr\'echet Video Distance (FVD). By taking advantages of both differentiable rendering and the 3D parametric model, our method is fully controllable, which allows controlling the human synthesis from both pose and rendering parameters. The source code is available at https://www.verlab.dcc.ufmg.br/retargeting-motion/wacv2022.
• Abstract（参考訳）: 本稿では,人間アクターの出現と再現のためのニューラルレンダリングアーキテクチャを提案する。 本手法は,人間の身体多様体構造をモデル化するために注意深く設計されたグラフ畳み込みネットワーク(gcn)を利用し,その初期記録から異なる文脈の人物の新しい映像を合成する。 近年の外観伝達法と異なり, 視覚合成における身体形状とテクスチャの出現から多様体構造を考慮しつつ, 完全に制御可能な3次元テクスチャマップモデルを構築することができる。 具体的には、人間の体に描画されたシルエットを自己監督的に訓練した3段階のGCNを用いてメッシュ変形をモデル化する。 また、テクスチャドメイン内の畳み込みネットワークによってテクスチャの外観を推論し、異なるポーズで俳優のレンダリングされたイメージから人間のテクスチャを再構築する。 異なるビデオ上での実験では, 構造的類似性(SSIM), 学習された知覚的イメージパッチ類似性(LPIPS), 平均正方形誤差(MSE), Fr\echet Video Distance(FVD)の両面から, 具体的な変形を推測し, テクスチャアーチファクトの生成を回避できることが示されている。 微分可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,提案手法は完全に制御可能であり,ポーズパラメータとレンダリングパラメータの両方から人間の合成を制御できる。 ソースコードはhttps://www.verlab.dcc.ufmg.br/retargeting-motion/wacv2022で入手できる。

関連論文リスト

• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Human Pose Manipulation and Novel View Synthesis using Differentiable Rendering [46.04980667824064]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2021-11-24T19:00:07Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild [22.881898195409885]
  対象者の「夢中」映像が与えられた場合、映像中の人物のアニマタブルなモデルを再構築する。 出力モデルは、明示的な3dメッシュ再構成なしに、学習されたコントロールを介して、任意のカメラビューに任意のボディポーズでレンダリングすることができる。
  論文  参考訳（メタデータ） (2020-12-23T18:50:42Z)
• Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [58.05389586712485]
  我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-18T02:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。