論文の概要: 3D Semantic Segmentation-Driven Representations for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2403.06501v1
- Date: Mon, 11 Mar 2024 08:17:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:51:26.956703
- Title: 3D Semantic Segmentation-Driven Representations for 3D Object Detection
- Title(参考訳): 3次元オブジェクト検出のための3次元意味セグメンテーション駆動表現
- Authors: Hayeon O and Kunsoo Huh
- Abstract要約: 自動運転において、3D検出は、経路計画や動き推定など、下流のタスクにより正確な情報を提供する。
提案したマルチモーダル3Dオブジェクト検出は,画像から得られる意味的特徴と点雲から得られる幾何学的特徴を組み合わせたものである。
我々は,既存のLiDARのみに基づく3D検出の十分な意味情報を確保するためのプレゼンテーションとして,ポイントワイズ・セマンティック機能であるSeSameを提案する。
- 参考スコア(独自算出の注目度): 0.9790236766474201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In autonomous driving, 3D detection provides more precise information to
downstream tasks, including path planning and motion estimation, compared to 2D
detection. Therefore, the need for 3D detection research has emerged. However,
although single and multi-view images and depth maps obtained from the camera
were used, detection accuracy was relatively low compared to other
modality-based detectors due to the lack of geometric information. The proposed
multi-modal 3D object detection combines semantic features obtained from images
and geometric features obtained from point clouds, but there are difficulties
in defining unified representation to fuse data existing in different domains
and synchronization between them. In this paper, we propose SeSame : point-wise
semantic feature as a new presentation to ensure sufficient semantic
information of the existing LiDAR-only based 3D detection. Experiments show
that our approach outperforms previous state-of-the-art at different levels of
difficulty in car and performance improvement on the KITTI object detection
benchmark. Our code is available at https://github.com/HAMA-DL-dev/SeSame
- Abstract(参考訳): 自律運転では、3D検出は2D検出と比較して、経路計画や動き推定を含む下流タスクにより正確な情報を提供する。
そのため,3次元検出研究の必要性が高まっている。
しかし、カメラから得られた単視点画像と多視点画像と深度マップは、幾何情報がないため、他のモードベース検出器と比較して検出精度は比較的低かった。
提案するマルチモーダル3dオブジェクト検出は,画像から得られた意味的特徴と点雲から得られた幾何学的特徴を組み合わせるが,異なる領域に存在するデータを融合し,それらの間の同期を行う統一表現を定義することは困難である。
本稿では,既存のLiDARのみに基づく3D検出の十分な意味情報を確保するためのプレゼンテーションとして,セサミを提案する。
実験の結果,kittiオブジェクト検出ベンチマークでは,自動車の難易度や性能改善のレベルが従来よりも優れていた。
私たちのコードはhttps://github.com/HAMA-DL-dev/SeSameで利用可能です。
関連論文リスト
- 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-07T23:46:41Z) - MonoNext: A 3D Monocular Object Detection with ConvNext [69.33657875725747]
本稿では3次元物体検出のためのMonoNextと呼ばれる新しいマルチタスク学習手法を提案する。
MonoNextは、ConvNextネットワークに基づく直接的なアプローチを採用し、3Dバウンディングボックスデータのみを必要とする。
KITTIデータセットを用いた実験では,MonoNextは最先端のアプローチに匹敵する高精度かつ競争的な性能を達成した。
論文 参考訳(メタデータ) (2023-08-01T15:15:40Z) - Unleash the Potential of Image Branch for Cross-modal 3D Object
Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。
まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。
第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文 参考訳(メタデータ) (2023-01-22T08:26:58Z) - Multi-Sem Fusion: Multimodal Semantic Fusion for 3D Object Detection [11.575945934519442]
LiDARとカメラ融合技術は、自律運転において3次元物体検出を実現することを約束している。
多くのマルチモーダルな3Dオブジェクト検出フレームワークは、2D画像からのセマンティック知識を3D LiDARポイントクラウドに統合する。
本稿では2次元画像と3次元ポイントシーン解析結果の両方から意味情報を融合する汎用多モード融合フレームワークであるMulti-Sem Fusion(MSF)を提案する。
論文 参考訳(メタデータ) (2022-12-10T10:54:41Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。
我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。
私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文 参考訳(メタデータ) (2022-03-30T12:40:30Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-17T05:11:38Z) - Relation3DMOT: Exploiting Deep Affinity for 3D Multi-Object Tracking
from View Aggregation [8.854112907350624]
3Dマルチオブジェクトトラッキングは、自律ナビゲーションにおいて重要な役割を果たす。
多くのアプローチでは、トラッキングのための2次元RGBシーケンス内のオブジェクトを検出するが、これは3次元空間内のオブジェクトをローカライズする際の信頼性の欠如である。
本稿では,隣接フレーム内の各オブジェクト間の相関をよりよく活用するために,RelationConvという新しい畳み込み演算を提案する。
論文 参考訳(メタデータ) (2020-11-25T16:14:40Z) - Single-Shot 3D Detection of Vehicles from Monocular RGB Images via
Geometry Constrained Keypoints in Real-Time [6.82446891805815]
単眼RGB画像における車両検出のための新しい3次元単発物体検出法を提案する。
提案手法は,3次元空間への2次元検出を付加回帰および分類パラメータの予測により引き上げる。
KITTI 3D Object Detection と新しい nuScenes Object Detection ベンチマークを用いて,自律走行のための異なるデータセットに対するアプローチを検証し,その評価を行った。
論文 参考訳(メタデータ) (2020-06-23T15:10:19Z) - SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint
Estimation [3.1542695050861544]
3Dの向きとオブジェクトの変換を推定することは、インフラストラクチャレスの自律走行と運転に不可欠である。
SMOKEと呼ばれる新しい3次元オブジェクト検出手法を提案する。
構造的単純さにもかかわらず、提案するSMOKEネットワークは、KITTIデータセット上の既存のモノクル3D検出方法よりも優れている。
論文 参考訳(メタデータ) (2020-02-24T08:15:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。