論文の概要: D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video

• arxiv url: http://arxiv.org/abs/2406.10078v1
• Date: Fri, 14 Jun 2024 14:35:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 13:16:10.383621
• Title: D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video
• Title（参考訳）: D-NPC:モノクルビデオからの非線形ビュー合成のための動的ニューラルポイント雲
• Authors: Moritz Kappel, Florian Hahlbohm, Timon Scholz, Susana Castillo, Christian Theobalt, Martin Eisemann, Vladislav Golyanik, Marcus Magnor,
• Abstract要約: 本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
• 参考スコア（独自算出の注目度）: 53.83936023443193
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dynamic reconstruction and spatiotemporal novel-view synthesis of non-rigidly deforming scenes recently gained increased attention. While existing work achieves impressive quality and performance on multi-view or teleporting camera setups, most methods fail to efficiently and faithfully recover motion and appearance from casual monocular captures. This paper contributes to the field by introducing a new method for dynamic novel view synthesis from monocular video, such as casual smartphone captures. Our approach represents the scene as a $\textit{dynamic neural point cloud}$, an implicit time-conditioned point distribution that encodes local geometry and appearance in separate hash-encoded neural feature grids for static and dynamic regions. By sampling a discrete point cloud from our model, we can efficiently render high-quality novel views using a fast differentiable rasterizer and neural rendering network. Similar to recent work, we leverage advances in neural scene analysis by incorporating data-driven priors like monocular depth estimation and object segmentation to resolve motion and depth ambiguities originating from the monocular captures. In addition to guiding the optimization process, we show that these priors can be exploited to explicitly initialize our scene representation to drastically improve optimization speed and final image quality. As evidenced by our experimental evaluation, our dynamic point cloud model not only enables fast optimization and real-time frame rates for interactive applications, but also achieves competitive image quality on monocular benchmark sequences. Our project page is available at https://moritzkappel.github.io/projects/dnpc.
• Abstract（参考訳）: 動的再構成と時空間的新規視点合成が近年注目されている。 既存の作業は、マルチビューまたはテレポーティングカメラのセットアップにおいて印象的な品質と性能を達成するが、ほとんどの手法は、カジュアルなモノクロキャプチャーから効率的に、忠実に動きと外観を回復することができない。 本稿では,カジュアルなスマートフォン撮影などのモノクロ映像から動的に新しいビュー合成手法を導入することにより,この分野に貢献する。 我々のアプローチは、静的および動的領域のためのハッシュエンコードされた別個のニューラルネットワークグリッドで局所的な幾何学と外観を符号化する暗黙の時間条件の点分布である$\textit{dynamic neural point cloud}$としてシーンを表現している。 モデルから離散点雲をサンプリングすることにより、高速な微分可能ラスタライザとニューラルレンダリングネットワークを用いて、高品質な新規ビューを効率よくレンダリングすることができる。 最近の研究と同様に、単分子深度推定や物体セグメンテーションといったデータ駆動の先行手法を取り入れて、単分子キャプチャーから生じる動きと深さの曖昧さを解消することで、ニューラルシーン解析の進歩を活用する。 最適化プロセスの導出に加えて、これらの先例を利用してシーン表現を明示的に初期化し、最適化速度と最終的な画質を大幅に向上させることができることを示す。 実験によって実証されたように、我々の動的ポイントクラウドモデルは、インタラクティブなアプリケーションに対して高速な最適化とリアルタイムフレームレートを実現するだけでなく、単分子ベンチマークシーケンス上での競合画像品質も達成する。 私たちのプロジェクトページはhttps://moritzkappel.github.io/projects/dnpc.orgで公開されています。

関連論文リスト

• CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
  複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。 物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-01-10T00:40:05Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• NPBG++: Accelerating Neural Point-Based Graphics [14.366073496519139]
  NPBG++は、シーンフィッティング時間の少ない高レンダリングリアリズムを実現する新しいビュー合成(NVS)タスクである。 本手法は,静的シーンのマルチビュー観測と点雲を効率よく利用し,各点のニューラルディスクリプタを予測する。 比較において、提案システムは、類似した画質の画像を生成しながら、ランタイムの適合とレンダリングの観点から、従来のNVSアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-24T19:59:39Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。