論文の概要: NeRSemble: Multi-view Radiance Field Reconstruction of Human Heads
- arxiv url: http://arxiv.org/abs/2305.03027v1
- Date: Thu, 4 May 2023 17:52:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 14:27:14.145536
- Title: NeRSemble: Multi-view Radiance Field Reconstruction of Human Heads
- Title（参考訳）: NeRSemble: 頭部の多視点放射場再構成
- Authors: Tobias Kirschstein, Shenhan Qian, Simon Giebenhain, Tim Walter,
Matthias Nie{\ss}ner
- Abstract要約: 16個のキャリブレーションされたマシン・ビジョン・カメラからなる新しいマルチビュー・キャプチャー・セットアップを提案する。
セットアップによって、220以上の人間の頭からなる4700以上の高解像度の高フレーム配列のデータセットを収集しました。
高忠実度人間の頭部を再構築するために,ハッシュアンサンブルを用いた動的ニューラルラジアンス場を提案する。
- 参考スコア（独自算出の注目度）: 2.5999037208435705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We focus on reconstructing high-fidelity radiance fields of human heads,
capturing their animations over time, and synthesizing re-renderings from novel
viewpoints at arbitrary time steps. To this end, we propose a new multi-view
capture setup composed of 16 calibrated machine vision cameras that record
time-synchronized images at 7.1 MP resolution and 73 frames per second. With
our setup, we collect a new dataset of over 4700 high-resolution,
high-framerate sequences of more than 220 human heads, from which we introduce
a new human head reconstruction benchmark. The recorded sequences cover a wide
range of facial dynamics, including head motions, natural expressions,
emotions, and spoken language. In order to reconstruct high-fidelity human
heads, we propose Dynamic Neural Radiance Fields using Hash Ensembles
(NeRSemble). We represent scene dynamics by combining a deformation field and
an ensemble of 3D multi-resolution hash encodings. The deformation field allows
for precise modeling of simple scene movements, while the ensemble of hash
encodings helps to represent complex dynamics. As a result, we obtain radiance
field representations of human heads that capture motion over time and
facilitate re-rendering of arbitrary novel viewpoints. In a series of
experiments, we explore the design choices of our method and demonstrate that
our approach outperforms state-of-the-art dynamic radiance field approaches by
a significant margin.
- Abstract（参考訳）: 我々は,人間の頭部の高忠実な放射界の再構築,時間とともにアニメーションを捉え,任意の時間ステップで新たな視点から再レンダリングを合成することに集中する。
そこで本研究では,時間同期画像を7.1MP解像度,73フレーム/秒で記録する16個の校正マシンビジョンカメラからなる,新しいマルチビューキャプチャ装置を提案する。
我々は220以上の人間の頭部の4700以上の高解像度・高フレームシーケンスからなる新しいデータセットを収集し,新しいヒト頭蓋再建ベンチマークを提案する。
記録されたシーケンスは、頭部の動き、自然な表情、感情、話し言葉など、幅広い顔の動きをカバーしている。
高忠実度人間の頭部を再構成するために,ハッシュアンサンブル(NeRSembles)を用いた動的ニューラルラジアンス場を提案する。
変形場と3次元多重解像度ハッシュ符号化のアンサンブルを組み合わせることでシーンダイナミクスを表現する。
変形場は単純なシーンの動きを正確にモデル化できるが、ハッシュエンコーディングのアンサンブルは複雑なダイナミクスを表現するのに役立つ。
その結果、時間とともに動きを捉え、任意の視点の再レンダリングを容易にする人間の頭部の放射場表現が得られる。
一連の実験で,提案手法の設計選択を探究し,そのアプローチが最先端の動的放射能場アプローチを著しく上回っていることを示す。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - PKU-DyMVHumans: A Multi-View Video Benchmark for High-Fidelity Dynamic Human Modeling [33.00658723633997]
PKU-DyMVHumansは高忠実度再構成と動的人間のシナリオのレンダリングのための汎用的な人間中心のデータセットである。
フレーム数は820万フレームで、56台以上のカメラが様々なシナリオで同期している。
ニューラルフィールド(NeRF)に基づくシーン表現の最近の進歩に触発されて、私たちは、オフザシェルフフレームワークを慎重にセットアップした。
論文 参考訳（メタデータ） (2024-03-24T10:06:40Z) - FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。
我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-12-13T19:01:07Z) - BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。
提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。
実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
論文 参考訳（メタデータ） (2023-11-09T17:05:53Z) - HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion [7.592039690054564]
我々は,多視点ビデオ入力から全身の動きをとらえる4次元動的ニューラルシーン表現であるHumanRFを紹介する。
我々の新しい表現は、高い圧縮速度で細部をキャプチャするダイナミックビデオ符号化として機能する。
このような高解像度データから生じる課題を実証し、新たに導入したHumanRFがこのデータを効果的に活用していることを示す。
論文 参考訳（メタデータ） (2023-05-10T17:59:55Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳（メタデータ） (2022-10-28T07:11:05Z) - Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。
我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。
実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
論文 参考訳（メタデータ） (2021-06-25T13:32:23Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-03-29T13:15:23Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳（メタデータ） (2020-12-22T23:45:28Z) - Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。
異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。
本研究は,人間の頭と上半身の新たな視線を合成する手法である。
論文 参考訳（メタデータ） (2020-12-17T22:19:27Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳（メタデータ） (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。