論文の概要: Detachable Novel Views Synthesis of Dynamic Scenes Using
Distribution-Driven Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2301.00411v1
- Date: Sun, 1 Jan 2023 14:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 15:10:34.899820
- Title: Detachable Novel Views Synthesis of Dynamic Scenes Using
Distribution-Driven Neural Radiance Fields
- Title（参考訳）: 分布駆動型ニューラルラミアンスフィールドによる動的シーンの切り離し可能な新規ビュー合成
- Authors: Boyu Zhang, Wenbo Xu, Zheng Zhu, Guan Huang
- Abstract要約: カジュアルなモノクラービデオから現実のダイナミックなシーンを表現し、合成することは、長年の課題である。
我々のアプローチ $textbfD$etach は $textbfD$ynamic シーン全体から背景を取得します。
本手法は, テクスチャの細部や動き領域のレンダリングにおいて, 従来の手法よりも優れ, クリーンな静的背景を生成する。
- 参考スコア（独自算出の注目度）: 19.16403828672949
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representing and synthesizing novel views in real-world dynamic scenes from
casual monocular videos is a long-standing problem. Existing solutions
typically approach dynamic scenes by applying geometry techniques or utilizing
temporal information between several adjacent frames without considering the
underlying background distribution in the entire scene or the transmittance
over the ray dimension, limiting their performance on static and occlusion
areas. Our approach $\textbf{D}$istribution-$\textbf{D}$riven neural radiance
fields offers high-quality view synthesis and a 3D solution to
$\textbf{D}$etach the background from the entire $\textbf{D}$ynamic scene,
which is called $\text{D}^4$NeRF. Specifically, it employs a neural
representation to capture the scene distribution in the static background and a
6D-input NeRF to represent dynamic objects, respectively. Each ray sample is
given an additional occlusion weight to indicate the transmittance lying in the
static and dynamic components. We evaluate $\text{D}^4$NeRF on public dynamic
scenes and our urban driving scenes acquired from an autonomous-driving
dataset. Extensive experiments demonstrate that our approach outperforms
previous methods in rendering texture details and motion areas while also
producing a clean static background. Our code will be released at
https://github.com/Luciferbobo/D4NeRF.
- Abstract（参考訳）: カジュアルなモノクラービデオから現実のダイナミックなシーンを表現し、合成することは、長年の課題である。
既存の解は通常動的シーンにアプローチし、幾何技法を適用したり、シーン全体の背景分布や光線次元上の透過性を考慮せずに隣り合う複数のフレーム間の時間情報を利用する。
我々のアプローチでは、$\textbf{D}$istribution-$\textbf{D}$riven neural radiance fieldsは高品質なビュー合成を提供し、$\textbf{D}$etach the background from the whole $\textbf{D}$ynamic scene, which is $\text{D}^4$NeRF。
具体的には、静的な背景のシーン分布をキャプチャする神経表現と、動的オブジェクトを表現するために6D入力のNeRFを用いる。
各光線サンプルには、静的および動的成分にある透過率を示す追加の咬合重みが与えられる。
我々は、公共のダイナミックシーンと、自動運転データセットから取得した都市運転シーンについて、$\text{D}^4$NeRFを評価した。
広範な実験により,我々のアプローチは,テクスチャの詳細と動き領域をレンダリングする従来の手法を上回り,クリーンな静的背景を生成する。
私たちのコードはhttps://github.com/luciferbobo/d4nerfでリリースします。
関連論文リスト
- $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。
既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。
動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T17:57:08Z) - Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video [19.0733297053322]
本稿では,大域的幾何情報とボリュームレンダリング処理を,それぞれニューラルネットワークと動的放射場を用いて学習する点ベース動的放射場について紹介する。
具体的には、幾何学的プロキシから直接ニューラルポイント雲を再構成し、提案した損失を用いて放射場と幾何学的プロキシの両方を最適化する。
提案手法の有効性をNVIDIA Dynamic Scenesデータセットと因果的に捉えたモノクロビデオクリップを用いて検証した。
論文 参考訳（メタデータ） (2023-10-14T19:27:46Z) - Local Implicit Ray Function for Generalizable Radiance Field
Representation [20.67358742158244]
本稿では、新しいビューレンダリングのための一般化可能なニューラルレンダリング手法であるLIRF(Local Implicit Ray Function)を提案する。
円錐体フラスタム内の3次元位置が与えられると、LIRFは3次元座標と円錐体フラスタムの特徴を入力として取り、局所体積放射場を予測する。
座標は連続しているため、LIRFはボリュームレンダリングを通じて、高品質の新規ビューを継続的に評価する。
論文 参考訳（メタデータ） (2023-04-25T11:52:33Z) - D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes [2.587781533364185]
動的シーンのための合成放射場D-TensoRFを提案する。
格子をランク1ベクトル成分(CP分解)またはローランク行列成分(MM分解)に分解する。
CP分解とMM分解を併用したD-TensoRFでは,トレーニング時間が短く,メモリフットプリントも著しく低かった。
論文 参考訳（メタデータ） (2022-12-05T15:57:55Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳（メタデータ） (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。