論文の概要: H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion

• arxiv url: http://arxiv.org/abs/2110.13746v1
• Date: Tue, 26 Oct 2021 14:51:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 15:26:26.483829
• Title: H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion
• Title（参考訳）: H-NeRF:人間の動作におけるレンダリングと時間再構成のための神経放射場
• Authors: Hongyi Xu, Thiemo Alldieck, Cristian Sminchisescu
• Abstract要約: 本研究では,低周波カメラや単眼ビデオで捉えたヒトの動作をレンダリング・時間的(4D)再構成するためのH-NeRF,神経放射場について述べる。 我々のNeRFにインスパイアされたアプローチは、ニューラルシーンの表現、ノベルビューの合成、暗黙の統計的幾何学的人間の表現のアイデアを組み合わせたものです。
• 参考スコア（独自算出の注目度）: 42.4185273307021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present H-NeRF, neural radiance fields for rendering and temporal (4D) reconstruction of a human in motion as captured by a sparse set of cameras or even from a monocular video. Our NeRF-inspired approach combines ideas from neural scene representation, novel-view synthesis, and implicit statistical geometric human representations. H-NeRF allows to accurately synthesize images of the observed subject under novel camera views and human poses. Instead of learning a radiance field in empty space, we attach it to a structured implicit human body model, represented using signed distance functions. This allows us to robustly fuse information from sparse views and, at test time, to extrapolate beyond the observed poses or views. Moreover, we apply geometric constraints to co-learn the structure of the observed subject (including both body and clothing) and to regularize the radiance field to geometrical plausible solutions. Extensive experiments on multiple datasets demonstrate the robustness and accuracy of our approach and its generalization capabilities beyond the sparse training set of poses and views.
• Abstract（参考訳）: 本研究では,低周波カメラや単眼ビデオで捉えた人間の動作をレンダリング・時間的(4D)再構成するためのH-NeRF,神経放射場について述べる。 nerfにインスパイアされたアプローチは、ニューラルネットワークのシーン表現、新しい視点合成、暗黙の統計幾何学的人間表現からアイデアを組み合わせる。 h-nerfは、観察対象の画像を新しいカメラビューと人間のポーズで正確に合成することができる。 空の空間で放射場を学習する代わりに、符号付き距離関数を用いて表される暗黙の人体モデルにそれを付加する。 これにより、スパースビューから情報を堅牢に融合し、テスト時に観測されたポーズやビューを超えて外挿することが可能になります。 さらに, 観測対象の構造(体と衣服の両方を含む)を共学習し, 放射場を幾何学的可算解に正則化するために幾何学的制約を適用する。 複数のデータセットに関する広範囲な実験によって、我々のアプローチの堅牢性と正確性が、ポーズとビューのスパースなトレーニングセットを超えた一般化能力を示している。

関連論文リスト

• NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields [13.178099653374945]
  NeRF-VOは、低遅延カメラトラッキングとニューラルラディアンスシーン表現のための学習ベースのスパースビジュアルオドメトリーを統合している。 我々は、様々な合成および実世界のデータセットに対して、ポーズ推定精度、新しいビュー忠実度、および密度の高い再構成品質においてSOTA法を超越した。
  論文  参考訳（メタデータ） (2023-12-20T22:42:17Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。