論文の概要: Robust 3D Gaussian Splatting for Novel View Synthesis in Presence of Distractors

• arxiv url: http://arxiv.org/abs/2408.11697v1
• Date: Wed, 21 Aug 2024 15:21:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 16:28:00.814121
• Title: Robust 3D Gaussian Splatting for Novel View Synthesis in Presence of Distractors
• Title（参考訳）: ディトラクタ存在下での新しいビュー合成のためのロバスト3次元ガウススプレーティング
• Authors: Paul Ungermann, Armin Ettenhofer, Matthias Nießner, Barbara Roessle,
• Abstract要約: 3D Gaussian Splattingは素晴らしいビュー合成結果を示している。 静的なシーンの入力データを汚染する動的オブジェクトに対して脆弱である。 提案手法は,多種多様な気晴らしに対して堅牢であり,気晴らしシーンのレンダリング品質を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 44.55317154371679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting has shown impressive novel view synthesis results; nonetheless, it is vulnerable to dynamic objects polluting the input data of an otherwise static scene, so called distractors. Distractors have severe impact on the rendering quality as they get represented as view-dependent effects or result in floating artifacts. Our goal is to identify and ignore such distractors during the 3D Gaussian optimization to obtain a clean reconstruction. To this end, we take a self-supervised approach that looks at the image residuals during the optimization to determine areas that have likely been falsified by a distractor. In addition, we leverage a pretrained segmentation network to provide object awareness, enabling more accurate exclusion of distractors. This way, we obtain segmentation masks of distractors to effectively ignore them in the loss formulation. We demonstrate that our approach is robust to various distractors and strongly improves rendering quality on distractor-polluted scenes, improving PSNR by 1.86dB compared to 3D Gaussian Splatting.
• Abstract（参考訳）: 3D Gaussian Splattingは、素晴らしいビュー合成結果を示している。しかしながら、静的なシーンの入力データを汚染する動的オブジェクトに対して脆弱である。 ディトラクタは、ビュー依存効果やフローティングアーティファクトの結果として表現されるため、レンダリング品質に深刻な影響を与える。 本研究の目的は, 3次元ガウス最適化において, クリーンな再構築を実現するために, それらの障害を識別・無視することである。 この目的のために、最適化中の画像残差を調べる自己教師型アプローチを採用し、イントラクタによって改ざんされた可能性のある領域を判定する。 さらに,事前訓練されたセグメンテーションネットワークを利用してオブジェクト認識を実現し,イントラクタのより正確な排除を可能にする。 このようにして、損失定式化において効果的にそれらを無視するために、トラクタのセグメンテーションマスクを得る。 提案手法は,3次元ガウススプラッティングに比べてPSNRが1.86dB向上し,多種多種多種多種多種多種多種多種多種多種多種多様のレンダリング品質が向上することを示した。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• SpotlessSplats: Ignoring Distractors in 3D Gaussian Splatting [44.42317312908314]
  3D Gaussian Splatting (3DGS)は、3D再構成のための有望な技術であり、効率的なトレーニングとレンダリング速度を提供する。 現在の手法では、3DGSのビュー間の一貫性の仮定を満たすために、高度に制御された環境が必要である。 SpotLessSplatsは、トレーニング済みと汎用の機能と頑健な最適化を併用して、過渡的障害を効果的に無視するアプローチである。
  論文  参考訳（メタデータ） (2024-06-28T17:07:11Z)
• PruNeRF: Segment-Centric Dataset Pruning via 3D Spatial Consistency [33.68948881727943]
  PruNeRFは3次元空間整合性によるセグメント中心のデータセットプルーニングフレームワークである。 ベンチマークデータセットを用いた実験により、PruNeRFは邪魔者に対するロバスト性において、最先端の手法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-02T16:49:05Z)
• A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
  近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。 3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。 本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。 実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T07:12:22Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields [12.92658687936068]
  我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。 逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。 レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
  論文  参考訳（メタデータ） (2023-06-09T17:12:35Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。