論文の概要: DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras
- arxiv url: http://arxiv.org/abs/2402.00740v1
- Date: Thu, 1 Feb 2024 16:38:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:39:23.309071
- Title: DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras
- Title(参考訳): drsm : 静止単眼カメラの動的再構成のための効率的なニューラル4次元分解
- Authors: Weixing Xie, Xiao Dong, Yong Yang, Qiqin Lin, Jingze Chen, Junfeng
Yao, Xiaohu Guo
- Abstract要約: モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。
本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
- 参考スコア(独自算出の注目度): 21.07910546072467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the popularity of monocular videos generated by video sharing and live
broadcasting applications, reconstructing and editing dynamic scenes in
stationary monocular cameras has become a special but anticipated technology.
In contrast to scene reconstructions that exploit multi-view observations, the
problem of modeling a dynamic scene from a single view is significantly more
under-constrained and ill-posed. Inspired by recent progress in neural
rendering, we present a novel framework to tackle 4D decomposition problem for
dynamic scenes in monocular cameras. Our framework utilizes decomposed static
and dynamic feature planes to represent 4D scenes and emphasizes the learning
of dynamic regions through dense ray casting. Inadequate 3D clues from a
single-view and occlusion are also particular challenges in scene
reconstruction. To overcome these difficulties, we propose deep supervised
optimization and ray casting strategies. With experiments on various videos,
our method generates higher-fidelity results than existing methods for
single-view dynamic scene representation.
- Abstract(参考訳): ビデオ共有やライブブロードキャストアプリケーションによって生成される単眼ビデオの人気により、静止単眼カメラでの動的シーンの再構築と編集は特別だが期待できる技術となった。
多視点観測を利用するシーン再構成とは対照的に、単一の視点から動的シーンをモデル化する問題は、より過度に制約され、不適切である。
ニューラルレンダリングの最近の進歩に触発されて,モノクロカメラにおける動的シーンの4次元分解問題に取り組むための新しい枠組みを提案する。
本フレームワークは,分解された静的および動的特徴平面を用いて4次元シーンを表現し,高密度レイキャスティングによる動的領域の学習を強調する。
単一視点からの3Dの手がかりの不足や隠蔽も、シーン再構築における特別な課題である。
これらの課題を克服するため,我々は深い教師付き最適化とレイキャスティング戦略を提案する。
各種ビデオの実験により,従来のシングルビュー動的シーン表現法よりも高忠実度な結果が得られる。
関連論文リスト
- Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳(メタデータ) (2024-01-10T23:26:41Z) - DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video [25.964642223641057]
そこで我々は,DyBluRFと呼ばれる,ぼやけたビデオモノクロビデオのための動的デブロアリングフレームワークを提案する。
我々のDyBluRFは、新しい2段階のフレームワークで、ぼやけたモノクロビデオのための新しいビュー合成を処理する最初のものです。
論文 参考訳(メタデータ) (2023-12-21T02:01:19Z) - Real-time Photorealistic Dynamic Scene Representation and Rendering with
4D Gaussian Splatting [8.078460597825142]
2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。
本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。
我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
論文 参考訳(メタデータ) (2023-10-16T17:57:43Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [60.171882970835625]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳(メタデータ) (2023-04-04T11:25:44Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。
提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。
我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
論文 参考訳(メタデータ) (2022-06-16T17:59:54Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳(メタデータ) (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。