論文の概要: DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video
- arxiv url: http://arxiv.org/abs/2403.10103v2
- Date: Tue, 19 Mar 2024 08:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 20:39:33.662039
- Title: DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video
- Title（参考訳）: DyBluRF:Blury Monocular Videoによる動的神経放射場
- Authors: Huiqiang Sun, Xingyi Li, Liao Shen, Xinyi Ye, Ke Xian, Zhiguo Cao,
- Abstract要約: 動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
- 参考スコア（独自算出の注目度）: 18.424138608823267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in dynamic neural radiance field methods have yielded remarkable outcomes. However, these approaches rely on the assumption of sharp input images. When faced with motion blur, existing dynamic NeRF methods often struggle to generate high-quality novel views. In this paper, we propose DyBluRF, a dynamic radiance field approach that synthesizes sharp novel views from a monocular video affected by motion blur. To account for motion blur in input images, we simultaneously capture the camera trajectory and object Discrete Cosine Transform (DCT) trajectories within the scene. Additionally, we employ a global cross-time rendering approach to ensure consistent temporal coherence across the entire scene. We curate a dataset comprising diverse dynamic scenes that are specifically tailored for our task. Experimental results on our dataset demonstrate that our method outperforms existing approaches in generating sharp novel views from motion-blurred inputs while maintaining spatial-temporal consistency of the scene.
- Abstract（参考訳）: 近年, 動的神経放射場法が進歩し, 顕著な結果が得られた。
しかし、これらのアプローチはシャープな入力画像の仮定に依存している。
動きのぼやけに直面した場合、既存の動的NeRF法は、しばしば高品質な新しいビューを生成するのに苦労する。
本稿では,動きのぼかしに影響を受ける単眼映像から鋭い新しい視点を合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
さらに、シーン全体にわたって一貫した時間的コヒーレンスを確保するために、グローバルなクロスタイムレンダリングアプローチを採用しています。
タスクに適した多様な動的シーンからなるデータセットをキュレートする。
提案手法は,映像の空間的・時間的一貫性を維持しつつ,動色入力から鮮明な新規ビューを生成する上で,既存の手法よりも優れていることを示す。
関連論文リスト
- Dynamic Neural Radiance Field From Defocused Monocular Video [15.789775912053507]
そこで我々はD2RF法を提案する。D2RF法は、非焦点単眼ビデオから鋭い新しいビューを復元するための最初の動的NeRF法である。
我々は,デフォーカスのぼかしをモデル化し,非集中的な視点で監督される鋭いNeRFを再構成するために,層状Depth-of-Field (DoF)ボリュームレンダリングを導入する。
本手法は,現場における空間的時間的一貫性を維持しつつ,デフォーカスのぼやけからオール・イン・フォーカスの新規ビューを合成する既存の手法よりも優れる。
論文 参考訳（メタデータ） (2024-07-08T03:46:56Z) - Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。
同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文 参考訳（メタデータ） (2024-06-06T03:37:39Z) - OmniLocalRF: Omnidirectional Local Radiance Fields from Dynamic Videos [14.965321452764355]
我々はOmnidirectional Local Radiance Fields (OmniLocalRF)と呼ばれる新しいアプローチを導入し、静的のみのシーンビューをレンダリングする。
本手法は局所放射界の原理と全方位光の双方向最適化を組み合わせたものである。
実験により,OmniLocalRFは定性的,定量的に既存手法より優れていることを確認した。
論文 参考訳（メタデータ） (2024-03-31T12:55:05Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳（メタデータ） (2024-01-10T00:40:05Z) - Forward Flow for Novel View Synthesis of Dynamic Scenes [97.97012116793964]
本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。
本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-29T16:51:06Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳（メタデータ） (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。