論文の概要: OccupancyDETR: Making Semantic Scene Completion as Straightforward as
Object Detection
- arxiv url: http://arxiv.org/abs/2309.08504v2
- Date: Fri, 22 Sep 2023 13:52:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 17:43:47.231477
- Title: OccupancyDETR: Making Semantic Scene Completion as Straightforward as
Object Detection
- Title(参考訳): OccupancyDETR: オブジェクト検出としてストレートフォワードとしてセマンティックシーンコンプリートを作成する
- Authors: Yupeng Jia, Jie He, Runze Chen, Fang Zhao and Haiyong Luo
- Abstract要約: 3Dセマンティック占有感は、自律運転のようなロボットアプリケーションのための新しい知覚パラダイムである。
我々は,DETRのようなオブジェクト検出モジュールと3D占有デコーダモジュールからなる,新しい3D意味的占有認識手法OccupancyDETRを提案する。
提案手法がSemantic KITTIデータセットに与える影響を実証し,mIoUが23で,処理速度が毎秒6フレームであることを示す。
- 参考スコア(独自算出の注目度): 11.663298245614584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual-based 3D semantic occupancy perception (also known as 3D semantic
scene completion) is a new perception paradigm for robotic applications like
autonomous driving. Compared with Bird's Eye View (BEV) perception, it extends
the vertical dimension, significantly enhancing the ability of robots to
understand their surroundings. However, due to this very reason, the
computational demand for current 3D semantic occupancy perception methods
generally surpasses that of BEV perception methods and 2D perception methods.
We propose a novel 3D semantic occupancy perception method, OccupancyDETR,
which consists of a DETR-like object detection module and a 3D occupancy
decoder module. The integration of object detection simplifies our method
structurally - instead of predicting the semantics of each voxels, it
identifies objects in the scene and their respective 3D occupancy grids. This
speeds up our method, reduces required resources, and leverages object
detection algorithm, giving our approach notable performance on small objects.
We demonstrate the effectiveness of our proposed method on the SemanticKITTI
dataset, showcasing an mIoU of 23 and a processing speed of 6 frames per
second, thereby presenting a promising solution for real-time 3D semantic scene
completion.
- Abstract(参考訳): 視覚ベースの3dセマンティック占有知覚(3dセマンティックシーン補完とも呼ばれる)は、自動運転のようなロボットアプリケーションのための新しい知覚パラダイムである。
バードアイビュー(Bird's Eye View, BEV)の知覚と比較すると、垂直方向を延長し、ロボットが周囲を理解する能力を大幅に向上させる。
しかし、この理由から、現在の3Dセマンティック占有感法に対する計算需要は、一般的にはBEV知覚法や2D知覚法を超越している。
我々は,DETRのようなオブジェクト検出モジュールと3D占有デコーダモジュールからなる,新しい3D意味的占有認識手法OccupancyDETRを提案する。
オブジェクト検出の統合は、各ボクセルのセマンティクスを予測する代わりに、シーン内のオブジェクトとその3D占有グリッドを識別する。
これにより,本手法を高速化し,必要なリソースを削減し,オブジェクト検出アルゴリズムを活用する。
我々は,提案手法の有効性をSemanticKITTIデータセットで示し,23のmIoUと毎秒6フレームの処理速度を示し,リアルタイムな3Dセマンティックシーンの完成に期待できる解決策を提示する。
関連論文リスト
- SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。
以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。
これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文 参考訳(メタデータ) (2023-08-26T07:38:21Z) - DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。
マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
論文 参考訳(メタデータ) (2022-12-15T14:18:47Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳(メタデータ) (2022-09-13T05:26:09Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - MDS-Net: A Multi-scale Depth Stratification Based Monocular 3D Object
Detection Algorithm [4.958840734249869]
本論文では,マルチスケール深度層構造に基づく1段モノクロ3次元物体検出アルゴリズムを提案する。
KITTIベンチマークの実験では、MDS-Netは既存のモノクル3D検出方法よりも3D検出やBEV検出タスクに優れていた。
論文 参考訳(メタデータ) (2022-01-12T07:11:18Z) - Shape Prior Non-Uniform Sampling Guided Real-time Stereo 3D Object
Detection [59.765645791588454]
最近導入されたRTS3Dは、深度監督のないオブジェクトの中間表現のための効率的な4次元特徴整合埋め込み空間を構築している。
本研究では, 内部領域で高密度サンプリングを行い, 内部領域でスパースサンプリングを行う非一様サンプリング方式を提案する。
提案手法は,ネットワークパラメータをほとんど含まないAP3dに対して2.57%の改善を実現している。
論文 参考訳(メタデータ) (2021-06-18T09:14:55Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-17T05:11:38Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint
Estimation [3.1542695050861544]
3Dの向きとオブジェクトの変換を推定することは、インフラストラクチャレスの自律走行と運転に不可欠である。
SMOKEと呼ばれる新しい3次元オブジェクト検出手法を提案する。
構造的単純さにもかかわらず、提案するSMOKEネットワークは、KITTIデータセット上の既存のモノクル3D検出方法よりも優れている。
論文 参考訳(メタデータ) (2020-02-24T08:15:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。