論文の概要: Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2011.13084v3
- Date: Wed, 21 Apr 2021 02:11:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 08:56:39.789305
- Title: Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
- Title（参考訳）: 動的シーンの時空間合成のためのニューラルシーンフロー場
- Authors: Zhengqi Li, Simon Niklaus, Noah Snavely, Oliver Wang
- Abstract要約: 本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
- 参考スコア（独自算出の注目度）: 70.76742458931935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method to perform novel view and time synthesis of dynamic
scenes, requiring only a monocular video with known camera poses as input. To
do this, we introduce Neural Scene Flow Fields, a new representation that
models the dynamic scene as a time-variant continuous function of appearance,
geometry, and 3D scene motion. Our representation is optimized through a neural
network to fit the observed input views. We show that our representation can be
used for complex dynamic scenes, including thin structures, view-dependent
effects, and natural degrees of motion. We conduct a number of experiments that
demonstrate our approach significantly outperforms recent monocular view
synthesis methods, and show qualitative results of space-time view synthesis on
a variety of real-world videos.
- Abstract（参考訳）: 本稿では,動的シーンの新規なビューと時間合成を行い,カメラのポーズが既知の単眼映像のみを入力として要求する手法を提案する。
これを実現するために, 動的シーンを, 外観, 幾何学, 3次元シーン運動の時間変化連続関数としてモデル化するニューラルシーンフロー場を提案する。
我々の表現はニューラルネットワークを通じて最適化され、観測された入力ビューに適合する。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
我々は,最近の単眼視合成法を著しく上回る手法を実証する実験を数多く実施し,様々な実世界ビデオで時空視合成の質的結果を示す。
関連論文リスト
- Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。
本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2024-06-13T17:59:11Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳（メタデータ） (2023-11-30T18:59:11Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured
using sparse monocular data [16.7345472998388]
本稿では,動的非構造シーンの新規視点合成のために,自己教師付きで学習可能な新しいニューラルラジアンスモデルを提案する。
我々のエンドツーエンドのトレーニング可能なアルゴリズムは、数秒で非常に複雑で現実世界の静的なシーンを学習し、数分で剛性と非剛性の両方のダイナミックなシーンを学習する。
論文 参考訳（メタデータ） (2022-09-20T14:37:56Z) - Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。
カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
論文 参考訳（メタデータ） (2021-05-13T17:59:50Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。