論文の概要: HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular
Video
- arxiv url: http://arxiv.org/abs/2201.04127v1
- Date: Tue, 11 Jan 2022 18:51:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 14:38:47.478709
- Title: HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular
Video
- Title（参考訳）: humannerf: モノクロビデオから人を動かす自由視点レンダリング
- Authors: Chung-Yi Weng, Brian Curless, Pratul P. Srinivasan, Jonathan T. Barron
and Ira Kemelmacher-Shlizerman
- Abstract要約: 我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。
提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
- 参考スコア（独自算出の注目度）: 44.58519508310171
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce a free-viewpoint rendering method -- HumanNeRF -- that works on
a given monocular video of a human performing complex body motions, e.g. a
video from YouTube. Our method enables pausing the video at any frame and
rendering the subject from arbitrary new camera viewpoints or even a full
360-degree camera path for that particular frame and body pose. This task is
particularly challenging, as it requires synthesizing photorealistic details of
the body, as seen from various camera angles that may not exist in the input
video, as well as synthesizing fine details such as cloth folds and facial
appearance. Our method optimizes for a volumetric representation of the person
in a canonical T-pose, in concert with a motion field that maps the estimated
canonical representation to every frame of the video via backward warps. The
motion field is decomposed into skeletal rigid and non-rigid motions, produced
by deep networks. We show significant performance improvements over prior work,
and compelling examples of free-viewpoint renderings from monocular video of
moving humans in challenging uncontrolled capture scenarios.
- Abstract（参考訳）: 我々は、人間の複雑な身体の動き、例えばYouTubeのビデオの特定の単眼ビデオで動作する自由視点レンダリング手法、HumanNeRFを紹介した。
提案手法では,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングしたり,特定のフレームとボディポーズのための360度カメラパスをフルに作成することができる。
この作業は特に困難であり、入力ビデオに存在しない様々なカメラアングルから見るように、身体のフォトリアリスティックな詳細を合成し、布の折りたたみや顔の外観などの細かい詳細を合成する必要がある。
提案手法は, 逆ワープによる映像のすべてのフレームに推定された正準表現をマッピングする運動場と協調して, 標準T位置における人物の体積表現を最適化する。
運動場は、深層ネットワークによって生成される骨格剛体および非剛体運動に分解される。
先行作業よりも性能が大幅に向上し,無制御のキャプチャシナリオに挑戦する単眼映像からのフリー視点レンダリングの説得力のある例を示す。
関連論文リスト
- Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳（メタデータ） (2024-05-23T17:59:52Z) - Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from
a Single Image [59.18564636990079]
本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。
既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。
一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
論文 参考訳（メタデータ） (2023-08-20T12:53:50Z) - Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。
本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
論文 参考訳（メタデータ） (2023-04-24T17:59:52Z) - Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。
カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
論文 参考訳（メタデータ） (2023-02-24T18:59:15Z) - Image Animation with Keypoint Mask [0.0]
モーショントランスファー(Motion Transfer)は、特定の駆動ビデオからの動作に応じて、単一のソース画像の将来のビデオフレームを合成するタスクである。
本研究では,キーポイントのヒートマップから,明示的な動作表現を伴わずに構造を抽出する。
そして、画像と映像から構造を抽出し、深部ジェネレータにより映像に応じて映像をワープする。
論文 参考訳（メタデータ） (2021-12-20T11:35:06Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - Motion Capture from Internet Videos [47.943209721329474]
画像に基づく人間のポーズ推定の最近の進歩により、単一のRGBビデオから3Dの人間の動きを捉えることができる。
マルチビュービデオは一般的ではないが、特定のアクションを行う有名人のビデオはインターネット上で多く見られる。
本稿では,新しい最適化フレームワークを提案し,複数のビデオからより正確かつ詳細な動きを復元する能力を実験的に実証する。
論文 参考訳（メタデータ） (2020-08-18T13:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。