論文の概要: NexusSplats: Efficient 3D Gaussian Splatting in the Wild

• arxiv url: http://arxiv.org/abs/2411.14514v2
• Date: Mon, 25 Nov 2024 11:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:27.866741
• Title: NexusSplats: Efficient 3D Gaussian Splatting in the Wild
• Title（参考訳）: NexusSplats: 野生で効率的な3Dガウシアンスプラッティング
• Authors: Yuzhou Tang, Dejun Xu, Yongjie Hou, Zhenzhong Wang, Min Jiang,
• Abstract要約: そこで本研究では,NexusSplatsと呼ばれるネクサスカーネルによる3次元シーン再構築手法を提案する。 この結果から,NexusSplatsは最先端のレンダリング品質を実現すると同時に,現在の最高の品質に比べて,再構築時間を最大70.4%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 3.0613673973976625
• License:
• Abstract: While 3D Gaussian Splatting (3DGS) has recently demonstrated remarkable rendering quality and efficiency in 3D scene reconstruction, it struggles with varying lighting conditions and incidental occlusions in real-world scenarios. To accommodate varying lighting conditions, existing 3DGS extensions apply color mapping to the massive Gaussian primitives with individually optimized appearance embeddings. To handle occlusions, they predict pixel-wise uncertainties via 2D image features for occlusion capture. Nevertheless, such massive color mapping and pixel-wise uncertainty prediction strategies suffer from not only additional computational costs but also coarse-grained lighting and occlusion handling. In this work, we propose a nexus kernel-driven approach, termed NexusSplats, for efficient and finer 3D scene reconstruction under complex lighting and occlusion conditions. In particular, NexusSplats leverages a novel light decoupling strategy where appearance embeddings are optimized based on nexus kernels instead of massive Gaussian primitives, thus accelerating reconstruction speeds while ensuring local color consistency for finer textures. Additionally, a Gaussian-wise uncertainty mechanism is developed, aligning 3D structures with 2D image features for fine-grained occlusion handling. Experimental results demonstrate that NexusSplats achieves state-of-the-art rendering quality while reducing reconstruction time by up to 70.4% compared to the current best in quality.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は最近の3Dシーンの再現において顕著なレンダリング品質と効率性を示したが、実際のシナリオでは様々な照明条件や偶発的閉塞に悩まされている。 様々な照明条件を満たすため、既存の3DGS拡張は、個別に最適化された外観埋め込みを持つ巨大なガウス原始体にカラーマッピングを適用している。 オクルージョンに対処するため、オクルージョンキャプチャーのための2次元画像特徴を通してピクセルワイズ不確実性を予測する。 それでも、このような膨大なカラーマッピングと画素ワイドの不確実性予測戦略は、計算コストの増大だけでなく、粗いきめ細かな照明やオクルージョン処理に悩まされている。 そこで本研究では,複雑な照明と閉塞条件下での3次元シーン再構成を効率よく,より微細にするための,NexusSplatsと呼ばれるネクサスカーネル駆動型アプローチを提案する。 特にNexusSplatsは、巨大なガウスのプリミティブではなく、ネクサスカーネルに基づいて外観埋め込みを最適化し、より細かいテクスチャに対して局所的な色の整合性を確保しながら、再構築速度を向上する、新しい光デカップリング戦略を採用している。 さらに,3次元構造と2次元画像特徴を微粒な閉塞処理のために整列させたガウス的不確実性機構を開発した。 実験の結果,NexusSplatsは最先端のレンダリング品質を達成しつつ,現在の最高の品質に比べて再現時間を最大70.4%削減できることがわかった。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
  本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。 3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
  論文  参考訳（メタデータ） (2024-11-19T11:59:54Z)
• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
  3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。 我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T12:41:32Z)
• SpotlessSplats: Ignoring Distractors in 3D Gaussian Splatting [44.42317312908314]
  3D Gaussian Splatting (3DGS)は、3D再構成のための有望な技術であり、効率的なトレーニングとレンダリング速度を提供する。 現在の手法では、3DGSのビュー間の一貫性の仮定を満たすために、高度に制御された環境が必要である。 SpotLessSplatsは、トレーニング済みと汎用の機能と頑健な最適化を併用して、過渡的障害を効果的に無視するアプローチである。
  論文  参考訳（メタデータ） (2024-06-28T17:07:11Z)
• 3D-HGS: 3D Half-Gaussian Splatting [5.766096863155448]
  光リアルな3D再構成は、3Dコンピュータビジョンの基本的な問題である。 本稿では,プラグアンドプレイカーネルとして使用できる3Dハーフガウス(3D-HGS)カーネルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T19:04:29Z)
• RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
  ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-30T16:54:59Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。