論文の概要: Neural Rendering of Humans in Novel View and Pose from Monocular Video

• arxiv url: http://arxiv.org/abs/2204.01218v2
• Date: Thu, 20 Apr 2023 04:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 17:48:05.025777
• Title: Neural Rendering of Humans in Novel View and Pose from Monocular Video
• Title（参考訳）: 単眼映像からの新たな視点とポーズにおける人間のニューラルレンダリング
• Authors: Tiantian Wang, Nikolaos Sarafianos, Ming-Hsuan Yang, Tony Tung
• Abstract要約: 本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 68.37767099240236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new method that generates photo-realistic humans under novel views and poses given a monocular video as input. Despite the significant progress recently on this topic, with several methods exploring shared canonical neural radiance fields in dynamic scene scenarios, learning a user-controlled model for unseen poses remains a challenging task. To tackle this problem, we introduce an effective method to a) integrate observations across several frames and b) encode the appearance at each individual frame. We accomplish this by utilizing both the human pose that models the body shape as well as point clouds that partially cover the human as input. Our approach simultaneously learns a shared set of latent codes anchored to the human pose among several frames, and an appearance-dependent code anchored to incomplete point clouds generated by each frame and its predicted depth. The former human pose-based code models the shape of the performer whereas the latter point cloud-based code predicts fine-level details and reasons about missing structures at the unseen poses. To further recover non-visible regions in query frames, we employ a temporal transformer to integrate features of points in query frames and tracked body points from automatically-selected key frames. Experiments on various sequences of dynamic humans from different datasets including ZJU-MoCap show that our method significantly outperforms existing approaches under unseen poses and novel views given monocular videos as input.
• Abstract（参考訳）: 本稿では,新しい視点下でフォトリアリスティックな人間を生成し,単眼映像を入力としてポーズを与える新しい手法を提案する。 このトピックでは最近の大きな進歩にもかかわらず、ダイナミックシーンシナリオにおける共有正準ニューラルラディアンスフィールドを探索するいくつかの手法では、目に見えないポーズのためのユーザ制御モデルを学ぶことは難しい課題である。 この問題に対処するために,有効な方法を提案する。 a) 複数のフレームをまたいだ観察を統合して b) 各フレームの外観を符号化する。 我々は、人体形状をモデル化する人間のポーズと、人体の一部を入力として覆う点雲を利用する。 提案手法では,複数のフレーム間で人間のポーズに固定された潜在符号と,各フレームが生成する不完全点雲に固定された出現依存符号を同時に学習する。 以前の人間のポーズベースのコードはパフォーマーの形状をモデル化するが、後者のクラウドベースのコードは、見知らぬポーズで行方不明な構造について詳細な詳細と理由を予測する。 クエリフレームの非可視領域をさらに回復するために,クエリフレーム内の点の特徴と追跡されたボディポイントを自動選択されたキーフレームから統合する時間的トランスフォーマーを用いる。 zju-mocapを含む様々なデータセットから動的人間の様々なシーケンスを実験した結果,本手法は,単眼映像を入力とした無意味なポーズや新しい視点下での既存のアプローチを大きく上回ることがわかった。

関連論文リスト

• MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
  そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。 我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
  論文  参考訳（メタデータ） (2023-04-04T17:55:03Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
  本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。 異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。 ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T18:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。