論文の概要: DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras
- arxiv url: http://arxiv.org/abs/2402.00740v1
- Date: Thu, 1 Feb 2024 16:38:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:39:23.309071
- Title: DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras
- Title（参考訳）: drsm : 静止単眼カメラの動的再構成のための効率的なニューラル4次元分解
- Authors: Weixing Xie, Xiao Dong, Yong Yang, Qiqin Lin, Jingze Chen, Junfeng
Yao, Xiaohu Guo
- Abstract要約: モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。
本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
- 参考スコア（独自算出の注目度）: 21.07910546072467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the popularity of monocular videos generated by video sharing and live
broadcasting applications, reconstructing and editing dynamic scenes in
stationary monocular cameras has become a special but anticipated technology.
In contrast to scene reconstructions that exploit multi-view observations, the
problem of modeling a dynamic scene from a single view is significantly more
under-constrained and ill-posed. Inspired by recent progress in neural
rendering, we present a novel framework to tackle 4D decomposition problem for
dynamic scenes in monocular cameras. Our framework utilizes decomposed static
and dynamic feature planes to represent 4D scenes and emphasizes the learning
of dynamic regions through dense ray casting. Inadequate 3D clues from a
single-view and occlusion are also particular challenges in scene
reconstruction. To overcome these difficulties, we propose deep supervised
optimization and ray casting strategies. With experiments on various videos,
our method generates higher-fidelity results than existing methods for
single-view dynamic scene representation.
- Abstract（参考訳）: ビデオ共有やライブブロードキャストアプリケーションによって生成される単眼ビデオの人気により、静止単眼カメラでの動的シーンの再構築と編集は特別だが期待できる技術となった。
多視点観測を利用するシーン再構成とは対照的に、単一の視点から動的シーンをモデル化する問題は、より過度に制約され、不適切である。
ニューラルレンダリングの最近の進歩に触発されて,モノクロカメラにおける動的シーンの4次元分解問題に取り組むための新しい枠組みを提案する。
本フレームワークは,分解された静的および動的特徴平面を用いて4次元シーンを表現し,高密度レイキャスティングによる動的領域の学習を強調する。
単一視点からの3Dの手がかりの不足や隠蔽も、シーン再構築における特別な課題である。
これらの課題を克服するため,我々は深い教師付き最適化とレイキャスティング戦略を提案する。
各種ビデオの実験により,従来のシングルビュー動的シーン表現法よりも高忠実度な結果が得られる。
関連論文リスト
- 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。
本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。
このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。
特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - 4D Gaussian Splatting in the Wild with Uncertainty-Aware Regularization [43.81271239333774]
そこで本研究では,カジュアルに記録されたモノクロビデオから動的シーンを動的に撮影する4DGSアルゴリズムを提案する。
提案手法は,ハンドヘルドモノクラーカメラで撮影した映像から4DGS再構成の性能を向上することを示す。
論文 参考訳（メタデータ） (2024-11-13T18:56:39Z) - Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。
本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
論文 参考訳（メタデータ） (2024-06-13T17:59:11Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。