論文の概要: GSRender: Deduplicated Occupancy Prediction via Weakly Supervised 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2412.14579v1
• Date: Thu, 19 Dec 2024 06:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:06.297240
• Title: GSRender: Deduplicated Occupancy Prediction via Weakly Supervised 3D Gaussian Splatting
• Title（参考訳）: GSRender: 3Dガウシアン・スプレイティングによる職業予測の強化
• Authors: Qianpu Sun, Changyong Shu, Sifan Zhou, Zichen Yu, Yan Chen, Dawei Yang, Yuan Chun,
• Abstract要約: それまでの弱い監督されたNeRF法では、カメラ線に沿ったサンプリング数によってmIoUが5～10ポイント変化し、効率と精度のバランスが取れていた。 本稿では,GSRenderを提案する。GSRenderは自然に3次元ガウススプラッティングを用いて占有率予測を行い,サンプリングプロセスを簡素化する。 提案手法は,RayIoU (+6.0) においてSOTAを達成し,そのギャップを3次元監視法で狭める。
• 参考スコア（独自算出の注目度）: 7.936178003928951
• License:
• Abstract: 3D occupancy perception is gaining increasing attention due to its capability to offer detailed and precise environment representations. Previous weakly-supervised NeRF methods balance efficiency and accuracy, with mIoU varying by 5-10 points due to sampling count along camera rays. Recently, real-time Gaussian splatting has gained widespread popularity in 3D reconstruction, and the occupancy prediction task can also be viewed as a reconstruction task. Consequently, we propose GSRender, which naturally employs 3D Gaussian Splatting for occupancy prediction, simplifying the sampling process. In addition, the limitations of 2D supervision result in duplicate predictions along the same camera ray. We implemented the Ray Compensation (RC) module, which mitigates this issue by compensating for features from adjacent frames. Finally, we redesigned the loss to eliminate the impact of dynamic objects from adjacent frames. Extensive experiments demonstrate that our approach achieves SOTA (state-of-the-art) results in RayIoU (+6.0), while narrowing the gap with 3D supervision methods. Our code will be released soon.
• Abstract（参考訳）: 詳細な環境表現を提供する能力により,3次元占有感が注目されている。 それまでの弱い監督されたNeRF法では、カメラ線に沿ったサンプリング数によってmIoUが5～10ポイント変化し、効率と精度のバランスが取れていた。 近年, リアルタイムガウススプラッティングは3次元再構成において広く普及しており, また, 占有率予測タスクも再構築課題と見なすことができる。 その結果,GSRenderは自然に3次元ガウススプラッティングを用いて占有率予測を行い,サンプリングプロセスを簡素化する。 さらに、2D監視の限界は、同じカメラ線に沿った重複予測をもたらす。 我々は、隣接するフレームからの特徴を補うことでこの問題を緩和するRay Compensation (RC) モジュールを実装した。 最後に、隣接するフレームからの動的オブジェクトの影響を排除するために、損失を再考した。 広汎な実験により,本手法はRayIoU(+6.0)のSOTA(state-of-the-art)を達成し,そのギャップを3次元監視法で狭めることができた。 私たちのコードはまもなくリリースされるでしょう。

関連論文リスト

• 3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting [15.124165321341646]
  3D Gaussian Splatting (3DGS)は、消費者ハードウェア上で効率的な再構成と高忠実なリアルタイムレンダリングを行う大きな可能性を示している。 3DGSは理想的なピンホールカメラに制約されており、二次照明効果がない。 最近の方法では、代わりに粒子をトレースすることでこれらの制限に対処している。 本研究では,3DGS における EWA スプラッティングを Unscented Transform に置き換えた 3D Gaussian Unscented Transform (3DGUT) を提案する。
  論文  参考訳（メタデータ） (2024-12-17T03:21:25Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians [18.774112672831155]
  3D-GSは、NeRFベースのニューラルシーン表現と比較して、顕著なレンダリングの忠実さと効率を示した。 シーン表現のためのレベル・オブ・ディーテール分解をサポートするLOD構造型3次元ガウスアプローチを特徴とするOctree-GSを提案する。
  論文  参考訳（メタデータ） (2024-03-26T17:39:36Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
  pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。 我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
  論文  参考訳（メタデータ） (2023-12-19T17:03:50Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。