論文の概要: DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

• arxiv url: http://arxiv.org/abs/2312.13528v1
• Date: Thu, 21 Dec 2023 02:01:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 16:19:25.222713
• Title: DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video
• Title（参考訳）: DyBluRF:Blury Monocular Videoのための動的劣化型ニューラルラジアンス場
• Authors: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim
• Abstract要約: ぼやけたモノクロビデオのための新しい動的劣化型NeRFフレームワークを提案する。 私たちのDyBluRFは、ぼやけたモノクロビデオのビュー合成に対処し、処理する最初のものです。
• 参考スコア（独自算出の注目度）: 28.36450634214846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.
• Abstract（参考訳）: 任意の視点や時間から視覚的に魅力的なフレームを作成できるビデオビュー合成は没入型視聴体験を提供する。 ニューラルネットワーク、特にNeRFは、当初は静的なシーンのために開発されたが、ビデオビュー合成のための様々な方法が作成されている。 しかし、映像映像合成の課題は、露出中の物体やカメラの動きの結果である動きのぼやけから生じ、鮮明な時空間ビューの正確な合成を妨げる。 そこで本研究では,IRR(Interleave Ray Refinement)ステージとMDD(Motion Decomposition-based Deblurring)ステージで構成された,ぼやけたモノクロビデオのための動的分解NeRFフレームワークDyBluRFを提案する。 われわれのdyblurfは、ぼやけた単眼ビデオの新しいビュー合成に対応し、処理する最初の企業だ。 IRRステージは、動的3Dシーンを共同で再構成し、不正確なカメラポーズ情報を洗練し、与えられたぼやけたフレームから抽出した不正確なポーズ情報と戦う。 MDDステージは、静止画をグローバルカメラモーションと局所オブジェクトモーションコンポーネントに分解することで、ぼやけたモノクロビデオフレームに対して、新たな潜時シャープ線予測(ILSP)アプローチである。 実験結果から,DyBluRFは最近の最先端手法よりも質的に,定量的に優れていることが示された。 ソースコードや事前訓練済みモデルを含む我々のプロジェクトページはhttps://kaist-viclab.github.io/dyblurf-site/.comで公開されている。

関連論文リスト

• Dynamic Neural Radiance Field From Defocused Monocular Video [15.789775912053507]
  そこで我々はD2RF法を提案する。D2RF法は、非焦点単眼ビデオから鋭い新しいビューを復元するための最初の動的NeRF法である。 我々は,デフォーカスのぼかしをモデル化し,非集中的な視点で監督される鋭いNeRFを再構成するために,層状Depth-of-Field (DoF)ボリュームレンダリングを導入する。 本手法は,現場における空間的時間的一貫性を維持しつつ,デフォーカスのぼやけからオール・イン・フォーカスの新規ビューを合成する既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-08T03:46:56Z)
• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• DRSM: efficient neural 4d decomposition for dynamic reconstruction in stationary monocular cameras [21.07910546072467]
  モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。 本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
  論文  参考訳（メタデータ） (2024-02-01T16:38:51Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
  動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。 具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
  論文  参考訳（メタデータ） (2023-04-04T11:25:44Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。