論文の概要: Editable Free-viewpoint Video Using a Layered Neural Representation
- arxiv url: http://arxiv.org/abs/2104.14786v1
- Date: Fri, 30 Apr 2021 06:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 22:48:31.454556
- Title: Editable Free-viewpoint Video Using a Layered Neural Representation
- Title（参考訳）: 階層型ニューラル表現を用いた編集自由視点映像
- Authors: Jiakai Zhang, Xinhang Liu, Xinyi Ye, Fuqiang Zhao, Yanshun Zhang,
Minye Wu, Yingliang Zhang, Lan Xu, Jingyi Yu
- Abstract要約: 我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。
私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。
実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
- 参考スコア（独自算出の注目度）: 35.44420164057911
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating free-viewpoint videos is critical for immersive VR/AR experience
but recent neural advances still lack the editing ability to manipulate the
visual perception for large dynamic scenes. To fill this gap, in this paper we
propose the first approach for editable photo-realistic free-viewpoint video
generation for large-scale dynamic scenes using only sparse 16 cameras. The
core of our approach is a new layered neural representation, where each dynamic
entity including the environment itself is formulated into a space-time
coherent neural layered radiance representation called ST-NeRF. Such layered
representation supports fully perception and realistic manipulation of the
dynamic scene whilst still supporting a free viewing experience in a wide
range. In our ST-NeRF, the dynamic entity/layer is represented as continuous
functions, which achieves the disentanglement of location, deformation as well
as the appearance of the dynamic entity in a continuous and self-supervised
manner. We propose a scene parsing 4D label map tracking to disentangle the
spatial information explicitly, and a continuous deform module to disentangle
the temporal motion implicitly. An object-aware volume rendering scheme is
further introduced for the re-assembling of all the neural layers. We adopt a
novel layered loss and motion-aware ray sampling strategy to enable efficient
training for a large dynamic scene with multiple performers, Our framework
further enables a variety of editing functions, i.e., manipulating the scale
and location, duplicating or retiming individual neural layers to create
numerous visual effects while preserving high realism. Extensive experiments
demonstrate the effectiveness of our approach to achieve high-quality,
photo-realistic, and editable free-viewpoint video generation for dynamic
scenes.
- Abstract（参考訳）: 没入型vr/ar体験には、自由視点ビデオの生成が不可欠だが、最近のニューラルな進歩は、大きなダイナミックシーンの視覚知覚を操作する編集能力に欠けている。
このギャップを埋めるために,本稿では,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成手法を提案する。
私たちのアプローチの中核は、新しい階層型ニューラルネットワーク表現であり、環境そのものを含む各動的エンティティは、st-nerfと呼ばれる時空コヒーレントなニューラルネットワーク階層型ラミアンス表現に定式化されます。
このような階層表現は、広い範囲で自由視聴体験をサポートしながら、動的シーンの完全な認識と現実的な操作をサポートする。
我々のST-NeRFでは、動的実体/層は連続関数として表現され、位置、変形、および連続的かつ自己監督的な動的実体の出現を実現する。
本研究では,空間情報を明示的にアンタングルする4次元ラベルマップ追跡のシーン解析と,時間的動きを暗黙的にアンタングルする連続変形モジュールを提案する。
さらに、全ての神経層を再組み立てするために、オブジェクト対応ボリュームレンダリングスキームを導入する。
我々は,複数のパフォーマーによる大規模動的シーンの効率的なトレーニングを可能にするために,新しい階層的損失・動き認識レイサンプリング戦略を採用する。このフレームワークにより,スケールと位置を操作するなど,様々な編集機能,個々の神経層を複製・再調整することで,高リアリズムを維持しながら多数の視覚効果を創出することができる。
広汎な実験により、ダイナミックシーンのための高品質でリアルで編集可能な自由視点ビデオ生成を実現するためのアプローチの有効性が実証された。
関連論文リスト
- Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。
同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文 参考訳（メタデータ） (2024-06-06T03:37:39Z) - DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
論文 参考訳（メタデータ） (2024-03-15T08:48:37Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳（メタデータ） (2020-12-22T23:45:28Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳（メタデータ） (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。