論文の概要: Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors

• arxiv url: http://arxiv.org/abs/2208.11905v1
• Date: Thu, 25 Aug 2022 07:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-26 13:32:13.574718
• Title: Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors
• Title（参考訳）: ニューラルノベル・アクター:人間アクターのための汎用アニマタブルニューラル表現学習
• Authors: Yiming Wang, Qingzhe Gao, Libin Liu, Lingjie Liu, Christian Theobalt, Baoquan Chen
• Abstract要約: 本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
• 参考スコア（独自算出の注目度）: 98.24047528960406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new method for learning a generalized animatable neural human representation from a sparse set of multi-view imagery of multiple persons. The learned representation can be used to synthesize novel view images of an arbitrary person from a sparse set of cameras, and further animate them with the user's pose control. While existing methods can either generalize to new persons or synthesize animations with user control, none of them can achieve both at the same time. We attribute this accomplishment to the employment of a 3D proxy for a shared multi-person human model, and further the warping of the spaces of different poses to a shared canonical pose space, in which we learn a neural field and predict the person- and pose-dependent deformations, as well as appearance with the features extracted from input images. To cope with the complexity of the large variations in body shapes, poses, and clothing deformations, we design our neural human model with disentangled geometry and appearance. Furthermore, we utilize the image features both at the spatial point and on the surface points of the 3D proxy for predicting person- and pose-dependent properties. Experiments show that our method significantly outperforms the state-of-the-arts on both tasks. The video and code are available at https://talegqz.github.io/neural_novel_actor.
• Abstract（参考訳）: 本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラルヒューマン表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。 既存の手法は、新しい人に一般化したり、ユーザー制御でアニメーションを合成したりできるが、どちらも同時に実現できない。 この成果は、共有多人モデルにおける3Dプロキシの活用によるものであり、さらに、異なるポーズの空間を、ニューラルネットワークを学習し、人やポーズに依存した変形を予測し、入力画像から抽出した特徴と出現する共有正準ポーズ空間に変形させるものである。 身体の形状やポーズ、衣服の変形の複雑さに対処するため、脳の形状や外観が異なっていたニューラル・ヒューマン・モデルを設計する。 さらに,3dプロキシの空間的および表面的両面で画像特徴を活用し,人物・ポーズ依存特性の予測を行う。 実験の結果,本手法は両タスクの最先端性を大幅に向上することがわかった。 ビデオとコードはhttps://talegqz.github.io/neural_novel_actorで入手できる。

関連論文リスト

• PixelHuman: Animatable Neural Radiance Fields from Few Images [27.932366091437103]
  我々は,人の数枚の画像からアニマタブルな人間のシーンを生成する新しいレンダリングモデルであるPixelHumanを提案する。 提案手法は既存の手法と異なり, 人体合成のための任意の入力画像に一般化可能である。 実験により,本手法はマルチビューで最先端の性能を達成し,少数ショット画像から新しいポーズ合成を実現する。
  論文  参考訳（メタデータ） (2023-07-18T08:41:17Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images [32.84481902544513]
  本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
  論文  参考訳（メタデータ） (2022-03-31T08:09:03Z)
• Creating and Reenacting Controllable 3D Humans with Differentiable Rendering [3.079885946230076]
  本稿では,人間アクターの外観を伝達し再現する,エンドツーエンドのニューラルレンダリングアーキテクチャを提案する。 提案手法は、人体多様体構造をモデル化するために、慎重に設計されたグラフ畳み込みネットワーク(GCN)を利用する。 合成可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,本手法は完全に制御可能である。
  論文  参考訳（メタデータ） (2021-10-22T12:40:09Z)
• Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing [49.32522765356914]
  私たちは、身体のポーズの関数として、服装の人々をアニメーションすることを学びます。 我々は、学習された変形場を非剛性効果のモデルに適用した、空間のすべての点を標準空間にマッピングすることを学ぶ。 ニューラルGIFは生の3Dスキャンに基づいてトレーニングし、詳細な複雑な表面形状と変形を再構築することができる。
  論文  参考訳（メタデータ） (2021-08-19T17:25:16Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。