論文の概要: DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video
- arxiv url: http://arxiv.org/abs/2312.13528v2
- Date: Fri, 29 Mar 2024 05:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 20:07:17.654065
- Title: DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video
- Title（参考訳）: DyBluRF:Blury Monocular Videoのための動的劣化型ニューラルラジアンス場
- Authors: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim,
- Abstract要約: そこで我々は,DyBluRFと呼ばれる,ぼやけたビデオモノクロビデオのための動的デブロアリングフレームワークを提案する。
我々のDyBluRFは、新しい2段階のフレームワークで、ぼやけたモノクロビデオのための新しいビュー合成を処理する最初のものです。
- 参考スコア（独自算出の注目度）: 25.964642223641057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRF), initially developed for static scenes, have inspired many video novel view synthesis techniques. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of a Base Ray Initialization (BRI) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that handles the novel view synthesis for blurry monocular video with a novel two-stage framework. In the BRI stage, we coarsely reconstruct dynamic 3D scenes and jointly initialize the base ray, which is further used to predict latent sharp rays, using the inaccurate camera pose information from the given blurry frames. In the MDD stage, we introduce a novel Incremental Latent Sharp-rays Prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. We further propose two loss functions for effective geometry regularization and decomposition of static and dynamic scene components without any mask supervision. Experiments show that DyBluRF outperforms qualitatively and quantitatively the SOTA methods.
- Abstract（参考訳）: 静的シーン用に開発されたNeRFは、多くのビデオノベルビュー合成技術にインスピレーションを与えている。
しかし、映像映像合成の課題は、露出中の物体やカメラの動きの結果である動きのぼやけから生じ、鮮明な時空間ビューの正確な合成を妨げている。
そこで本研究では,BRI(Base Ray Initialization)ステージとMDD(Motion Decomposition-based Deblurring)ステージで構成される,ぼやけたモノクルビデオのための動的デブロアリングNeRFフレームワークDyBluRFを提案する。
我々のDyBluRFは、新しい2段階のフレームワークで、ぼやけたモノクロビデオのための新しいビュー合成を処理する最初のものです。
BRIの段階では、ダイナミックな3Dシーンを粗く再構成し、ベースレイを共同で初期化する。
MDDの段階では、静止画をグローバルカメラモーションと局所物体の動き成分に分解することで、ぼやけたモノクロビデオフレームに対する新しいインクリメンタルラテントシャープ線予測(ILSP)手法を導入する。
さらに,マスクの監督を伴わない静的および動的シーンコンポーネントの効率的な幾何正規化と分解のための2つの損失関数を提案する。
実験により、DyBluRFはSOTA法よりも質的に定量的に優れていることが示された。
関連論文リスト
- Dynamic Neural Radiance Field From Defocused Monocular Video [15.789775912053507]
そこで我々はD2RF法を提案する。D2RF法は、非焦点単眼ビデオから鋭い新しいビューを復元するための最初の動的NeRF法である。
我々は,デフォーカスのぼかしをモデル化し,非集中的な視点で監督される鋭いNeRFを再構成するために,層状Depth-of-Field (DoF)ボリュームレンダリングを導入する。
本手法は,現場における空間的時間的一貫性を維持しつつ,デフォーカスのぼやけからオール・イン・フォーカスの新規ビューを合成する既存の手法よりも優れる。
論文 参考訳（メタデータ） (2024-07-08T03:46:56Z) - DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
論文 参考訳（メタデータ） (2024-03-15T08:48:37Z) - DRSM: efficient neural 4d decomposition for dynamic reconstruction in
stationary monocular cameras [21.07910546072467]
モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。
本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
論文 参考訳（メタデータ） (2024-02-01T16:38:51Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳（メタデータ） (2021-09-30T17:12:59Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。