論文の概要: GSRender: Deduplicated Occupancy Prediction via Weakly Supervised 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2412.14579v1
- Date: Thu, 19 Dec 2024 06:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 18:44:16.026578
- Title: GSRender: Deduplicated Occupancy Prediction via Weakly Supervised 3D Gaussian Splatting
- Title（参考訳）: GSRender: 3Dガウシアン・スプレイティングによる職業予測の強化
- Authors: Qianpu Sun, Changyong Shu, Sifan Zhou, Zichen Yu, Yan Chen, Dawei Yang, Yuan Chun,
- Abstract要約: それまでの弱い監督されたNeRF法では、カメラ線に沿ったサンプリング数によってmIoUが5～10ポイント変化し、効率と精度のバランスが取れていた。
本稿では,GSRenderを提案する。GSRenderは自然に3次元ガウススプラッティングを用いて占有率予測を行い,サンプリングプロセスを簡素化する。
提案手法は,RayIoU (+6.0) においてSOTAを達成し,そのギャップを3次元監視法で狭める。
- 参考スコア（独自算出の注目度）: 7.936178003928951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D occupancy perception is gaining increasing attention due to its capability to offer detailed and precise environment representations. Previous weakly-supervised NeRF methods balance efficiency and accuracy, with mIoU varying by 5-10 points due to sampling count along camera rays. Recently, real-time Gaussian splatting has gained widespread popularity in 3D reconstruction, and the occupancy prediction task can also be viewed as a reconstruction task. Consequently, we propose GSRender, which naturally employs 3D Gaussian Splatting for occupancy prediction, simplifying the sampling process. In addition, the limitations of 2D supervision result in duplicate predictions along the same camera ray. We implemented the Ray Compensation (RC) module, which mitigates this issue by compensating for features from adjacent frames. Finally, we redesigned the loss to eliminate the impact of dynamic objects from adjacent frames. Extensive experiments demonstrate that our approach achieves SOTA (state-of-the-art) results in RayIoU (+6.0), while narrowing the gap with 3D supervision methods. Our code will be released soon.
- Abstract（参考訳）: 詳細な環境表現を提供する能力により,3次元占有感が注目されている。
それまでの弱い監督されたNeRF法では、カメラ線に沿ったサンプリング数によってmIoUが5～10ポイント変化し、効率と精度のバランスが取れていた。
近年, リアルタイムガウススプラッティングは3次元再構成において広く普及しており, また, 占有率予測タスクも再構築課題と見なすことができる。
その結果,GSRenderは自然に3次元ガウススプラッティングを用いて占有率予測を行い,サンプリングプロセスを簡素化する。
さらに、2D監視の限界は、同じカメラ線に沿った重複予測をもたらす。
我々は、隣接するフレームからの特徴を補うことでこの問題を緩和するRay Compensation (RC) モジュールを実装した。
最後に、隣接するフレームからの動的オブジェクトの影響を排除するために、損失を再考した。
広汎な実験により,本手法はRayIoU(+6.0)のSOTA(state-of-the-art)を達成し,そのギャップを3次元監視法で狭めることができた。
私たちのコードはまもなくリリースされるでしょう。
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - GaussRender: Learning 3D Occupancy with Gaussian Rendering [86.89653628311565]
GaussRenderは、投影的一貫性を強制することによって3D占有学習を改善するモジュールである。
提案手法は,不整合な2次元プロジェクションを生成する3次元構成をペナライズすることにより,より一貫性のある3次元構造を実現する。
論文 参考訳（メタデータ） (2025-02-07T16:07:51Z) - 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting [15.124165321341646]
本研究では,EWAスプラッティングスプラッティングをアンセント変換に置き換えた3次元ガウスアンアンセント変換(3DGUT)を提案する。
これにより、自明化の効率を維持しつつ、ローリングシャッターなどの歪み時間依存効果を支持できる。
論文 参考訳（メタデータ） (2024-12-17T03:21:25Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GaussianOcc: Fully Self-supervised and Efficient 3D Occupancy Estimation with Gaussian Splatting [16.480043962212566]
本研究では, ガウススプラッティングとガウススプラッティングの2つの利用法を提案する。
その結果,GussianOcc法では,計算コストの低い競合性能において,完全に自己監督された3次元占有率推定が可能となった。
論文 参考訳（メタデータ） (2024-08-21T09:06:30Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳（メタデータ） (2023-12-19T17:03:50Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。