論文の概要: Dynamic Scene Novel View Synthesis via Deferred Spatio-temporal Consistency

• arxiv url: http://arxiv.org/abs/2109.01018v1
• Date: Thu, 2 Sep 2021 15:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 17:15:22.344735
• Title: Dynamic Scene Novel View Synthesis via Deferred Spatio-temporal Consistency
• Title（参考訳）: deferred spatio-temporal consistencyによる動的シーン新規ビュー合成
• Authors: Beatrix-Em\H{o}ke F\"ul\"op-Balogh and Eleanor Tursman and James Tompkin and Julie Digne and Nicolas Bonneel
• Abstract要約: 構造(SfM)と新規ビュー合成(NVS)を提示する。 SfMは、ノイズに時間的に再構成されたスパース雲を発生させ、時間的に矛盾する効果を持つNVSをもたらす。 我々は,より最近の学習ベースラインアプローチに対して,実世界の動的シーンでアルゴリズムを実証する。
• 参考スコア（独自算出の注目度）: 18.036582072609882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structure from motion (SfM) enables us to reconstruct a scene via casual capture from cameras at different viewpoints, and novel view synthesis (NVS) allows us to render a captured scene from a new viewpoint. Both are hard with casual capture and dynamic scenes: SfM produces noisy and spatio-temporally sparse reconstructed point clouds, resulting in NVS with spatio-temporally inconsistent effects. We consider SfM and NVS parts together to ease the challenge. First, for SfM, we recover stable camera poses, then we defer the requirement for temporally-consistent points across the scene and reconstruct only a sparse point cloud per timestep that is noisy in space-time. Second, for NVS, we present a variational diffusion formulation on depths and colors that lets us robustly cope with the noise by enforcing spatio-temporal consistency via per-pixel reprojection weights derived from the input views. Together, this deferred approach generates novel views for dynamic scenes without requiring challenging spatio-temporally consistent reconstructions nor training complex models on large datasets. We demonstrate our algorithm on real-world dynamic scenes against classic and more recent learning-based baseline approaches.
• Abstract（参考訳）: SfM(Structument from Motion)は,異なる視点でカメラからカジュアルなキャプチャによってシーンを再構築し,新しいビュー合成(NVS)により新たな視点からシーンを描画することができる。 どちらもカジュアルなキャプチャとダイナミックなシーンでは難しい: SfMはノイズと時空間的にスパースに再構成された点雲を生成し、時空間的に矛盾する効果を持つNVSとなる。 SfMとNVSの部品を一緒に検討して、課題を緩和します。 まず、SfMの場合、安定なカメラポーズを復元し、シーン全体にわたる時間的に一貫性のある点の要求を推論し、時空のノイズの多い時間ステップごとに小さな点雲のみを再構成する。 第2に,nvsでは,入力ビューから導かれる画素毎の再投影重みによる時空間的一貫性を強制することにより,雑音に対して頑健に対処できる深さと色彩の変動拡散式を提案する。 この延期されたアプローチは、時空間的に一貫性のあるレコンストラクションや大規模データセットの複雑なモデルのトレーニングを必要とせずに、動的シーンの新しいビューを生成する。 本研究では,より新しい学習ベースラインアプローチに対して,実世界の動的シーンでアルゴリズムを実演する。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
  動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。 カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
  論文  参考訳（メタデータ） (2021-05-13T17:59:50Z)
• Neural Trajectory Fields for Dynamic Novel View Synthesis [40.9665251865609]
  我々は動的シーンの座標に基づくニューラル表現であるDCT-NeRFを紹介する。 空間の各点の入力シーケンス上で、滑らかで安定した軌跡を学習します。 これにより、シーケンス内の2つのフレーム間の一貫性を強制することができ、その結果、高品質の再構築が可能になります。
  論文  参考訳（メタデータ） (2021-05-12T22:38:30Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。