論文の概要: BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel Modeling

• arxiv url: http://arxiv.org/abs/2403.04926v2
• Date: Sun, 24 Mar 2024 20:25:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 01:06:08.615327
• Title: BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel Modeling
• Title（参考訳）: BAGS:マルチスケールカーネルモデリングによるBlur Agnostic Gaussian Splatting
• Authors: Cheng Peng, Yutao Tang, Yifan Zhou, Nengyu Wang, Xijun Liu, Deming Li, Rama Chellappa,
• Abstract要約: 様々な画像のぼかしに対するガウススプティングに基づく手法の頑健さを解析する。 この問題に対処するためにBlur Agnostic Gaussian Splatting (BAGS)を提案する。 BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。
• 参考スコア（独自算出の注目度）: 32.493592776662005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent efforts in using 3D Gaussians for scene reconstruction and novel view synthesis can achieve impressive results on curated benchmarks; however, images captured in real life are often blurry. In this work, we analyze the robustness of Gaussian-Splatting-based methods against various image blur, such as motion blur, defocus blur, downscaling blur, \etc. Under these degradations, Gaussian-Splatting-based methods tend to overfit and produce worse results than Neural-Radiance-Field-based methods. To address this issue, we propose Blur Agnostic Gaussian Splatting (BAGS). BAGS introduces additional 2D modeling capacities such that a 3D-consistent and high quality scene can be reconstructed despite image-wise blur. Specifically, we model blur by estimating per-pixel convolution kernels from a Blur Proposal Network (BPN). BPN is designed to consider spatial, color, and depth variations of the scene to maximize modeling capacity. Additionally, BPN also proposes a quality-assessing mask, which indicates regions where blur occur. Finally, we introduce a coarse-to-fine kernel optimization scheme; this optimization scheme is fast and avoids sub-optimal solutions due to a sparse point cloud initialization, which often occurs when we apply Structure-from-Motion on blurry images. We demonstrate that BAGS achieves photorealistic renderings under various challenging blur conditions and imaging geometry, while significantly improving upon existing approaches.
• Abstract（参考訳）: 近年,3次元ガウシアンをシーン再構成や新しいビュー合成に活用する試みは,実生活で撮影した画像がぼやけている場合が多い。 本研究では,ガウス・スプティング法を用いて,動きのぼやけ,デフォーカスのぼやけ,ダウンスケーリングのぼやけなど,様々な画像ぼやけに対するロバスト性を解析した。 これらの劣化の下では、ガウス・スプラッティング法はニューラル・ラジオアンス・フィールド法よりも過度に適合し、悪い結果をもたらす傾向にある。 この問題に対処するため,Blur Agnostic Gaussian Splatting (BAGS)を提案する。 BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。 具体的には,Blur Proposal Network (BPN) から画素単位の畳み込みカーネルを推定することにより,ボケをモデル化する。 BPNは、モデリング能力を最大化するために、シーンの空間、色、深さの変化を考慮するように設計されている。 さらにBPNは、ぼやけた領域を示す品質評価マスクも提案している。 最後に、粗いカーネル最適化方式を導入する。この最適化方式は高速で、疎点雲の初期化による準最適解を回避し、ぼやけた画像にStructure-from-Motionを適用する際にしばしば発生する。 BAGSは、様々な難解なぼかし条件や画像幾何の下で、フォトリアリスティックなレンダリングを実現し、既存のアプローチでは大幅に改善されていることを実証する。

関連論文リスト

• Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
  Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。 提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
  論文  参考訳（メタデータ） (2024-07-17T04:02:54Z)
• GAURA: Generalizable Approach for Unified Restoration and Rendering of Arbitrary Views [28.47730275628715]
  本稿では,いくつかの劣化条件下で高忠実性新規ビュー合成が可能な一般化可能なニューラルレンダリング手法を提案する。 我々の手法であるGAURAは学習ベースであり、テスト時間シーン固有の最適化を必要としない。
  論文  参考訳（メタデータ） (2024-07-11T06:44:37Z)
• HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
  本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。 広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
  論文  参考訳（メタデータ） (2024-03-29T07:58:21Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion Guidance [19.252300247300145]
  本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。 テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。 単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
  論文  参考訳（メタデータ） (2023-05-30T05:56:58Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• Deep Blind Video Super-resolution [85.79696784460887]
  本稿では,ビデオSRを曖昧なカーネルモデリング手法により解くために,深層畳み込みニューラルネットワーク(CNN)モデルを提案する。 提案したCNNモデルは、動きのぼかし推定、動きの推定、遅延画像復元モジュールからなる。 提案アルゴリズムは, より微細な構造情報を用いて, より鮮明な画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-03-10T13:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。