論文の概要: Animatable Neural Radiance Fields from Monocular RGB-D

• arxiv url: http://arxiv.org/abs/2204.01218v1
• Date: Mon, 4 Apr 2022 03:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 03:00:51.509411
• Title: Animatable Neural Radiance Fields from Monocular RGB-D
• Title（参考訳）: 単分子RGB-Dからの Animatable Neural Radiance Fields
• Authors: Tiantian Wang, Nikolaos Sarafianos, Ming-Hsuan Yang, Tony Tung
• Abstract要約: 本稿では,各フレーム間の観察を統合し,各フレームの外観を符号化する新しい手法を提案する。 本手法は,フレーム間の人間のポーズに固定された潜在符号の共有集合を同時に学習する。 人間のポーズベースのコードはパフォーマーの形状をモデル化するが、ポイントクラウドベースのコードは、見知らぬポーズで欠けている構造の詳細と理由を予測する。
• 参考スコア（独自算出の注目度）: 68.37767099240236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims at representing animatable photo-realistic humans under novel views and poses. Recent work has shown significant progress with dynamic scenes by exploring shared canonical neural radiance fields. However learning a user-controlled model for novel poses remains a challenging task. To tackle this problem, we introduce a novel method to integrate observations across frames and encode the appearance at each individual frame by utilizing the human pose that models the body shape and point clouds which cover partial part of the human as the input. Specifically, our method simultaneously learns a shared set of latent codes anchored to the human pose among frames, and learns an appearance-dependent code anchored to incomplete point clouds generated by monocular RGB-D at each frame. A human pose-based code models the shape of the performer whereas a point cloud based code predicts details and reasons about missing structures at the unseen poses. To further recover non-visible regions in query frames, we utilize a temporal transformer to integrate features of points in query frames and tracked body points from automatically-selected key frames. Experiments on various sequences of humans in motion show that our method significantly outperforms existing works under unseen poses and novel views given monocular RGB-D videos as input.
• Abstract（参考訳）: 本稿では,新しい視点とポーズの下で,写真リアルな人間を表現することを目的とする。 最近の研究は、共有の標準的神経放射場を探索することで、動的シーンにおいて著しい進歩を示している。 しかし、新規ポーズのユーザ制御モデルを学ぶことは難しい課題である。 本研究では,人体の形状をモデル化する人間のポーズと,人間の部分を覆う点雲を入力として利用することにより,フレーム間の観察を統合し,各フレームの外観をエンコードする新しい手法を提案する。 具体的には、フレーム間で人間のポーズに固定された潜在符号の共有集合を同時に学習し、各フレームで単眼RGB-Dにより生成される不完全点雲に固定された外見依存符号を学習する。 人間のポーズベースのコードはパフォーマーの形状をモデル化するが、ポイントクラウドベースのコードは、見知らぬポーズで欠けている構造の詳細と理由を予測する。 問合せフレームにおける非可視領域を更に回復するために、時間変換器を用いて、問合せフレームにおける点の特徴と追跡された体点を自動選択されたキーフレームから統合する。 運動中のヒトの様々な配列を実験した結果,本手法は単眼rgb-d映像を入力として,未知覚のポーズや新たな視点で既存の作品を大きく上回ることがわかった。

関連論文リスト

• MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
  そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。 我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
  論文  参考訳（メタデータ） (2023-04-04T17:55:03Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
  本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。 異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。 ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T18:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。