論文の概要: DeblurGS: Gaussian Splatting for Camera Motion Blur
- arxiv url: http://arxiv.org/abs/2404.11358v1
- Date: Wed, 17 Apr 2024 13:14:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:54:57.147034
- Title: DeblurGS: Gaussian Splatting for Camera Motion Blur
- Title(参考訳): DeblurGS: カメラモーションブラーのためのガウシアンスプラッティング
- Authors: Jeongtaek Oh, Jaeyoung Chung, Dongwoo Lee, Kyoung Mu Lee,
- Abstract要約: 動きブル画像から鋭い3次元ガウススプラッティングを最適化するDeblurGSを提案する。
我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。
提案手法は,6自由度カメラの動きをそれぞれのぼやけた観測のために推定し,それに対応するぼやけたレンダリングを合成する。
- 参考スコア(独自算出の注目度): 45.13521168573883
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Although significant progress has been made in reconstructing sharp 3D scenes from motion-blurred images, a transition to real-world applications remains challenging. The primary obstacle stems from the severe blur which leads to inaccuracies in the acquisition of initial camera poses through Structure-from-Motion, a critical aspect often overlooked by previous approaches. To address this challenge, we propose DeblurGS, a method to optimize sharp 3D Gaussian Splatting from motion-blurred images, even with the noisy camera pose initialization. We restore a fine-grained sharp scene by leveraging the remarkable reconstruction capability of 3D Gaussian Splatting. Our approach estimates the 6-Degree-of-Freedom camera motion for each blurry observation and synthesizes corresponding blurry renderings for the optimization process. Furthermore, we propose Gaussian Densification Annealing strategy to prevent the generation of inaccurate Gaussians at erroneous locations during the early training stages when camera motion is still imprecise. Comprehensive experiments demonstrate that our DeblurGS achieves state-of-the-art performance in deblurring and novel view synthesis for real-world and synthetic benchmark datasets, as well as field-captured blurry smartphone videos.
- Abstract(参考訳): モーションブルー画像からシャープな3Dシーンを再構築する大きな進歩があったが、現実のアプリケーションへの移行は依然として困難である。
主な障害は、初期カメラの取得における不正確な原因となる激しいぼやけ(Structure-from-Motion)である。
この課題に対処するために、ノイズの多いカメラが初期化している場合でも、モーションブル画像からシャープな3次元ガウススプラッティングを最適化するDeblurGSを提案する。
我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。
提案手法は,6自由度カメラの動きを各ぼやけた観測のために推定し,その最適化プロセスのために対応するぼやけたレンダリングを合成する。
さらに,カメラの動作が不正確である初期訓練段階において,不正確なガウシアンの発生を防止するため,ガウシアンデンシフィケーションアニーリング戦略を提案する。
我々のDeblurGSは、実世界と合成ベンチマークのデータセット、およびフィールドキャプチャーされたスマートフォンビデオに対して、デブロアリングと新しいビュー合成において最先端のパフォーマンスを達成することを、総合的な実験で実証している。
関連論文リスト
- Reconstructing Satellites in 3D from Amateur Telescope Images [44.20773507571372]
本稿では、小型アマチュア望遠鏡で撮影した映像を利用して、低地球軌道上の衛星の3次元再構成のための枠組みを提案する。
これらの望遠鏡から得られたビデオデータは、激しい動きのぼかし、大気の乱流、広汎な背景光汚染、焦点距離の延長、観測視点の制約など、標準的な3D再構成作業のデータと大きく異なる。
我々は,中国の宇宙ステーションの合成データセットと実際の観測データを用いて,地上観測から3次元空間オブジェクトを再構築する既存の手法に対する大きな優位性を示す。
論文 参考訳(メタデータ) (2024-04-29T03:13:09Z) - Robust Gaussian Splatting [22.400956166196842]
ブラー,不完全なカメラポーズ,色の不整合を含む3Dガウススプラッティング(3DGS)の一般的な誤差源に対処する。
そこで本稿では, 環境光や影, ホワイトバランスの設定の変化など, カメラ関連要因によって生じる色不整合に対処する機構を提案する。
論文 参考訳(メタデータ) (2024-04-05T16:42:16Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳(メタデータ) (2024-03-20T06:19:41Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳(メタデータ) (2024-03-18T14:43:04Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳(メタデータ) (2024-03-18T03:46:26Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - COLMAP-Free 3D Gaussian Splatting [93.69157280273856]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。
入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。
提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-12-12T18:39:52Z) - Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter
Correction [54.00007868515432]
既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。
本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。
提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
論文 参考訳(メタデータ) (2023-03-31T15:09:18Z) - Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in
the Wild [49.672487902268706]
本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。
複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
論文 参考訳(メタデータ) (2020-07-24T23:50:46Z) - Prior-enlightened and Motion-robust Video Deblurring [29.158836861982742]
PriOr-enlightened and MOTION-robust deblurring model (PROMOTION) は難解なぼかしに適したモデルである。
我々は、異種先行情報を効率的に符号化するために、3Dグループ畳み込みを用いる。
また、一様でないぼやけた時間領域をよりよく扱うために、ぼやけた分布を表す事前設計を行う。
論文 参考訳(メタデータ) (2020-03-25T04:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。