論文の概要: EGSRAL: An Enhanced 3D Gaussian Splatting based Renderer with Automated Labeling for Large-Scale Driving Scene

• arxiv url: http://arxiv.org/abs/2412.15550v1
• Date: Fri, 20 Dec 2024 04:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:01.822112
• Title: EGSRAL: An Enhanced 3D Gaussian Splatting based Renderer with Automated Labeling for Large-Scale Driving Scene
• Title（参考訳）: EGSRAL: 大規模運転シーンのための自動ラベリングを備えた3Dガウススプレイティング型レンダラー
• Authors: Yixiong Huo, Guangfeng Jiang, Hongyang Wei, Ji Liu, Song Zhang, Han Liu, Xingliang Huang, Mingjie Lu, Jinzhang Peng, Dong Li, Lu Tian, Emad Barsoum,
• Abstract要約: EGSRALは3D GSベースの手法で、追加のアノテーションを使わずに画像のトレーニングにのみ依存する。 EGSRALは、動的オブジェクトと静的バックグラウンドの両方をモデル化する3D GSの機能を強化する。 また,大規模な複雑なシーンをレンダリングする際の視点問題に対処するために,バニラ3D GSのグルーピング戦略を提案する。
• 参考スコア（独自算出の注目度）: 19.20846992699852
• License:
• Abstract: 3D Gaussian Splatting (3D GS) has gained popularity due to its faster rendering speed and high-quality novel view synthesis. Some researchers have explored using 3D GS for reconstructing driving scenes. However, these methods often rely on various data types, such as depth maps, 3D boxes, and trajectories of moving objects. Additionally, the lack of annotations for synthesized images limits their direct application in downstream tasks. To address these issues, we propose EGSRAL, a 3D GS-based method that relies solely on training images without extra annotations. EGSRAL enhances 3D GS's capability to model both dynamic objects and static backgrounds and introduces a novel adaptor for auto labeling, generating corresponding annotations based on existing annotations. We also propose a grouping strategy for vanilla 3D GS to address perspective issues in rendering large-scale, complex scenes. Our method achieves state-of-the-art performance on multiple datasets without any extra annotation. For example, the PSNR metric reaches 29.04 on the nuScenes dataset. Moreover, our automated labeling can significantly improve the performance of 2D/3D detection tasks. Code is available at https://github.com/jiangxb98/EGSRAL.
• Abstract（参考訳）: 3D Gaussian Splatting (3D GS) は高速なレンダリング速度と高品質なノベルビュー合成により人気を博している。 一部の研究者は、運転シーンの再構築に3D GSを用いた研究を行っている。 しかし、これらの手法は、深度マップ、3Dボックス、移動物体の軌跡など、様々なデータタイプに依存していることが多い。 さらに、合成画像に対するアノテーションの欠如により、下流タスクでの直接適用が制限される。 これらの問題に対処するために,追加アノテーションを使わずに画像のトレーニングのみに依存する3D GS ベースの EGSRAL を提案する。 EGSRALは、動的オブジェクトと静的バックグラウンドの両方をモデル化する3D GSの機能を強化し、自動ラベリングのための新しいアダプタを導入し、既存のアノテーションに基づいて対応するアノテーションを生成する。 また,大規模な複雑なシーンをレンダリングする際の視点問題に対処するために,バニラ3D GSのグルーピング戦略を提案する。 本手法は,付加的なアノテーションを伴わずに,複数のデータセット上で最先端の性能を実現する。 例えば、PSNRメトリックはnuScenesデータセット上で29.04に達する。 さらに,自動ラベリングは2D/3D検出タスクの性能を大幅に向上させることができる。 コードはhttps://github.com/jiangxb98/EGSRALで入手できる。

関連論文リスト

• 3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement [2.2122801766964795]
  3DGS-CDは3Dシーンにおける物体の物理的配置を検出する最初の3Dガウス散乱(3DGS)に基づく手法である。 提案手法では,異なる時間に撮影された2つの不整合画像を比較して3次元オブジェクトレベルの変化を推定する。 本手法は,18秒以内のスパース・ポスト・チェンジ画像を用いて,1枚の新しい画像のみを用いて,散在する環境の変化を検出できる。
  論文  参考訳（メタデータ） (2024-11-06T07:08:41Z)
• GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
  3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。 モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。 提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
  論文  参考訳（メタデータ） (2024-09-24T23:18:32Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Recent Advances in 3D Gaussian Splatting [31.3820273122585]
  3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。 3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。 本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
  論文  参考訳（メタデータ） (2024-03-17T07:57:08Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• Text-to-3D using Gaussian Splatting [18.163413810199234]
  本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。 GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。 我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2023-09-28T16:44:31Z)
• PanopticNeRF-360: Panoramic 3D-to-2D Label Transfer in Urban Scenes [54.49897326605168]
  粗い3Dアノテーションとノイズの多い2Dセマンティックキューを組み合わせて高品質なパノプティカルラベルを生成する新しいアプローチであるPanopticNeRF-360を提案する。 実験では,KITTI-360データセット上でのラベル転送方式に対するPanopticNeRF-360の最先端性能を実証した。
  論文  参考訳（メタデータ） (2023-09-19T17:54:22Z)
• Weakly Supervised 3D Object Detection with Multi-Stage Generalization [62.96670547848691]
  擬似ラベル生成と多段階一般化を含むBA$2$-Detを導入する。 一般化の3つの段階、完全から部分へ、静的から動的へ、そして遠い距離へ進む。 BA$2$-Detは、KITTIデータセットの20%の相対的な改善を達成できる。
  論文  参考訳（メタデータ） (2023-06-08T17:58:57Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。