論文の概要: BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel
Modeling
- arxiv url: http://arxiv.org/abs/2403.04926v1
- Date: Thu, 7 Mar 2024 22:21:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:35:47.470106
- Title: BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel
Modeling
- Title(参考訳): BAGS:マルチスケールカーネルモデリングによるBlur Agnostic Gaussian Splatting
- Authors: Cheng Peng, Yutao Tang, Yifan Zhou, Nengyu Wang, Xijun Liu, Deming Li,
Rama Chellappa
- Abstract要約: 様々な画像のぼかしに対するガウススプティングに基づく手法の頑健さを解析する。
この問題に対処するためにBlur Agnostic Gaussian Splatting (BAGS)を提案する。
BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。
- 参考スコア(独自算出の注目度): 34.12300740280992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent efforts in using 3D Gaussians for scene reconstruction and novel view
synthesis can achieve impressive results on curated benchmarks; however, images
captured in real life are often blurry. In this work, we analyze the robustness
of Gaussian-Splatting-based methods against various image blur, such as motion
blur, defocus blur, downscaling blur, \etc. Under these degradations,
Gaussian-Splatting-based methods tend to overfit and produce worse results than
Neural-Radiance-Field-based methods. To address this issue, we propose Blur
Agnostic Gaussian Splatting (BAGS). BAGS introduces additional 2D modeling
capacities such that a 3D-consistent and high quality scene can be
reconstructed despite image-wise blur. Specifically, we model blur by
estimating per-pixel convolution kernels from a Blur Proposal Network (BPN).
BPN is designed to consider spatial, color, and depth variations of the scene
to maximize modeling capacity. Additionally, BPN also proposes a
quality-assessing mask, which indicates regions where blur occur. Finally, we
introduce a coarse-to-fine kernel optimization scheme; this optimization scheme
is fast and avoids sub-optimal solutions due to a sparse point cloud
initialization, which often occurs when we apply Structure-from-Motion on
blurry images. We demonstrate that BAGS achieves photorealistic renderings
under various challenging blur conditions and imaging geometry, while
significantly improving upon existing approaches.
- Abstract(参考訳): 近年,3次元ガウシアンをシーン再構成や新しいビュー合成に活用する試みは,実生活で撮影した画像がぼやけている場合が多い。
本研究では,ガウス・スプティング法を用いて,動きのぼやけ,デフォーカスのぼやけ,ダウンスケーリングのぼやけなど,様々な画像ぼやけに対するロバスト性を解析する。
これらの劣化下では、ガウス方程式に基づく手法は、神経放射場に基づく手法よりも過剰に適合し、より悪い結果をもたらす傾向がある。
この問題に対処するため,Blur Agnostic Gaussian Splatting (BAGS)を提案する。
BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。
具体的には,Blur Proposal Network (BPN) から画素単位の畳み込みカーネルを推定することにより,ボケをモデル化する。
BPNは、モデリング能力を最大化するために、シーンの空間、色、深さの変化を考慮するように設計されている。
さらにBPNは、ぼやけた領域を示す品質評価マスクも提案している。
最後に,この最適化手法は高速であり,ぼやけた画像に構造から動きを施す際にしばしば発生する疎点雲初期化による最適化ソリューションを回避している。
本研究では,様々な難解なボケ条件と画像形状下でのフォトリアリスティックなレンダリングを実現するとともに,既存の手法を大幅に改善できることを実証する。
関連論文リスト
- VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - RANRAC: Robust Neural Scene Representations via Random Ray Consensus [13.047834122698765]
本稿では,3次元物体を隠蔽・散逸した画像を扱う頑健な再構成アルゴリズムRANRACを紹介する。
本ソリューションは,光フィールドネットワークによる単一ショット再構成を支援する。
本研究は,8dBPSNRをベースラインと比較し,包括的シナリオにおける新規ビュー合成の大幅な改善を報告した。
論文 参考訳(メタデータ) (2023-12-15T13:33:09Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot
Images [47.14713579719103]
オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。
調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。
提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
論文 参考訳(メタデータ) (2023-11-22T13:53:04Z) - HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion
Guidance [19.252300247300145]
本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。
テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。
単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
論文 参考訳(メタデータ) (2023-05-30T05:56:58Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳(メタデータ) (2023-02-16T10:40:55Z) - Designing a Practical Degradation Model for Deep Blind Image
Super-Resolution [134.9023380383406]
単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。
本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
論文 参考訳(メタデータ) (2021-03-25T17:40:53Z) - Deep Blind Video Super-resolution [85.79696784460887]
本稿では,ビデオSRを曖昧なカーネルモデリング手法により解くために,深層畳み込みニューラルネットワーク(CNN)モデルを提案する。
提案したCNNモデルは、動きのぼかし推定、動きの推定、遅延画像復元モジュールからなる。
提案アルゴリズムは, より微細な構造情報を用いて, より鮮明な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2020-03-10T13:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。