論文の概要: Real-time 3D semantic occupancy prediction for autonomous vehicles using memory-efficient sparse convolution

• arxiv url: http://arxiv.org/abs/2403.08748v3
• Date: Sun, 19 May 2024 00:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 23:00:48.519756
• Title: Real-time 3D semantic occupancy prediction for autonomous vehicles using memory-efficient sparse convolution
• Title（参考訳）: メモリ効率スパース畳み込みを用いた自動運転車のリアルタイム3次元セマンティック占有予測
• Authors: Samuel Sze, Lars Kunze,
• Abstract要約: 自動運転車では、エゴ車の周囲の3D環境をリアルタイムで理解することが不可欠である。 State of the art 3D mapping method leverageer with cross-attention mechanism to elevate 2D vision-centric camera features into the 3D domain。 本稿では、正面2Dカメラ画像とLiDARスキャンから特徴を抽出し、3Dセマンティック占有予測にスパース畳み込みネットワーク(Minkowski Engine)を用いる手法を提案する。
• 参考スコア（独自算出の注目度）: 4.204990010424084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In autonomous vehicles, understanding the surrounding 3D environment of the ego vehicle in real-time is essential. A compact way to represent scenes while encoding geometric distances and semantic object information is via 3D semantic occupancy maps. State of the art 3D mapping methods leverage transformers with cross-attention mechanisms to elevate 2D vision-centric camera features into the 3D domain. However, these methods encounter significant challenges in real-time applications due to their high computational demands during inference. This limitation is particularly problematic in autonomous vehicles, where GPU resources must be shared with other tasks such as localization and planning. In this paper, we introduce an approach that extracts features from front-view 2D camera images and LiDAR scans, then employs a sparse convolution network (Minkowski Engine), for 3D semantic occupancy prediction. Given that outdoor scenes in autonomous driving scenarios are inherently sparse, the utilization of sparse convolution is particularly apt. By jointly solving the problems of 3D scene completion of sparse scenes and 3D semantic segmentation, we provide a more efficient learning framework suitable for real-time applications in autonomous vehicles. We also demonstrate competitive accuracy on the nuScenes dataset.
• Abstract（参考訳）: 自動運転車では、エゴ車の周囲の3D環境をリアルタイムで理解することが不可欠である。 幾何学的距離と意味オブジェクト情報をエンコードしながらシーンを表現するためのコンパクトな方法は、3Dセマンティック占有マップを経由する。 State of the art 3D mapping method leverageer with cross-attention mechanism to elevate 2D vision-centric camera features into the 3D domain。 しかし、これらの手法は、推論中の高い計算要求のため、リアルタイムアプリケーションにおいて重大な課題に遭遇する。 この制限は、GPUリソースをローカライズや計画といった他のタスクと共有する必要がある自動運転車において特に問題となる。 本稿では,正面2次元カメラ画像とLiDARスキャンから特徴を抽出し,スパース畳み込みネットワーク(Minkowski Engine)を用いて3次元セマンティック占有予測を行う手法を提案する。 自律運転シナリオの屋外シーンは本質的にスパースであるため、スパースコンボリューションの利用は特に適している。 スパースシーンの3次元シーン補完と3次元セマンティックセグメンテーションの問題を共同で解決することにより、自動運転車のリアルタイムアプリケーションに適した、より効率的な学習フレームワークを提供する。 また、nuScenesデータセット上での競合精度も示す。

関連論文リスト

• Regulating Intermediate 3D Features for Vision-Centric Autonomous Driving [26.03800936700545]
  本稿では,ボリュームレンダリングの助けを借りて,中間的な高密度な3次元特徴を規制することを提案する。 Occ3DデータセットとnuScenesデータセットの実験結果から、ヴァンパイアは密度の高い3D特徴の微細で適切な抽出を容易にすることが示された。
  論文  参考訳（メタデータ） (2023-12-19T04:09:05Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
  3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。 マルチカメラ画像を用いたSurroundOcc法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:59:08Z)
• Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
  本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。 我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。 私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
  論文  参考訳（メタデータ） (2022-03-30T12:40:30Z)
• Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
  1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。 既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。 深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
  論文  参考訳（メタデータ） (2021-02-01T08:18:24Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)
• Crowdsourced 3D Mapping: A Combined Multi-View Geometry and Self-Supervised Learning Approach [10.610403488989428]
  本稿では,意味的意味のあるランドマークの3次元位置を,カメラ固有の知識を仮定せずに推定するフレームワークを提案する。 交通標識の位置推定には,多視点幾何と深層学習に基づく自己校正,深度,エゴモーション推定を利用する。 我々はそれぞれ39cmと1.26mの平均単方向相対位置と絶対位置の精度を達成した。
  論文  参考訳（メタデータ） (2020-07-25T12:10:16Z)
• Kinematic 3D Object Detection in Monocular Video [123.7119180923524]
  運動運動を注意深く利用して3次元位置決めの精度を向上させるモノクロ映像を用いた3次元物体検出法を提案する。 我々は、KITTI自動運転データセット内のモノクロ3次元物体検出とバードアイビュータスクの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-07-19T01:15:12Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。