論文の概要: CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images
- arxiv url: http://arxiv.org/abs/2407.03923v1
- Date: Thu, 4 Jul 2024 13:37:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 17:53:13.173272
- Title: CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images
- Title（参考訳）: CRiM-GS:モーションブライヤー画像からの連続剛体運動認識ガウス散乱
- Authors: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee,
- Abstract要約: 画像のぼやけた画像からリアルタイムレンダリング速度で正確な3Dシーンを再構成するために, 連続的な剛性運動対応ガウススプラッティング(CRiM-GS)を提案する。
我々は、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。
さらに,textitSE(3)フィールドに連続的な変形可能な3次元変換を導入し,剛体変換を実世界の問題に適用する。
- 参考スコア（独自算出の注目度）: 12.603775893040972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the \textit{SE(3)} field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、高品質なビューレンダリング能力によって注目されており、様々な現実世界のケースに対処する研究が進められている。
重要な課題の1つは、露出中のカメラの動きによるカメラの動きのぼやけであり、正確な3Dシーンの復元を妨げている。
本研究では,リアルタイムレンダリング速度でぼやけた画像から正確な3Dシーンを再構成するための連続剛性動作対応ガウススプラッティング(CRiM-GS)を提案する。
複雑な動きパターンからなる実際のカメラ動作のぼかし過程を考慮し、ニューラル常微分方程式(ODE)に基づいてカメラの連続的な動きを予測する。
具体的には、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。
さらに,高次自由度を確保することにより,剛体変換を実世界の問題に適応させるために,連続的な変形可能な3次元変換をtextit{SE(3)} フィールドに導入する。
基本カメラ理論を再考し、高度なニューラルネットワークトレーニング技術を用いて、連続カメラ軌道の正確なモデリングを実現する。
我々は大規模な実験を行い、ベンチマークデータセット上で定量的かつ質的に最先端のパフォーマンスを実証する。
関連論文リスト
- LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。
遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。
本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
論文 参考訳（メタデータ） (2024-12-12T18:58:42Z) - MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。
MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。
モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
論文 参考訳（メタデータ） (2024-10-10T08:19:47Z) - EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [36.91327728871551]
3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。
本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
論文 参考訳（メタデータ） (2024-05-29T04:59:27Z) - DeblurGS: Gaussian Splatting for Camera Motion Blur [45.13521168573883]
動きブル画像から鋭い3次元ガウススプラッティングを最適化するDeblurGSを提案する。
我々は,3次元ガウススプラッティングの顕著な再構成能力を活用して,きめ細かなシャープシーンを復元する。
提案手法は,6自由度カメラの動きをそれぞれのぼやけた観測のために推定し,それに対応するぼやけたレンダリングを合成する。
論文 参考訳（メタデータ） (2024-04-17T13:14:52Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳（メタデータ） (2023-08-16T09:50:35Z) - Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in
the Wild [49.672487902268706]
本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。
複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
論文 参考訳（メタデータ） (2020-07-24T23:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。