論文の概要: Collaboration Helps Camera Overtake LiDAR in 3D Detection

• arxiv url: http://arxiv.org/abs/2303.13560v1
• Date: Thu, 23 Mar 2023 03:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 17:07:02.952863
• Title: Collaboration Helps Camera Overtake LiDAR in 3D Detection
• Title（参考訳）: カメラによるLiDARの3D検出を支援するコラボレーション
• Authors: Yue Hu, Yifan Lu, Runsheng Xu, Weidi Xie, Siheng Chen, Yanfeng Wang
• Abstract要約: カメラのみの3D検出は、LiDARベースの検出システムと比較して、オブジェクトを3D空間にローカライズするための簡単なソリューションを提供する。 提案するコラボレーティブカメラのみの3D検出(CoCa3D)により,エージェントは通信を通じて相互に補完情報を共有できる。 その結果、CoCa3Dは従来のSOTA性能をDAIR-V2Xで44.21%改善し、OPV2V+で30.60%、AP@70でCoPerception-UAVs+で12.59%向上した。
• 参考スコア（独自算出の注目度）: 49.58433319402405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Camera-only 3D detection provides an economical solution with a simple configuration for localizing objects in 3D space compared to LiDAR-based detection systems. However, a major challenge lies in precise depth estimation due to the lack of direct 3D measurements in the input. Many previous methods attempt to improve depth estimation through network designs, e.g., deformable layers and larger receptive fields. This work proposes an orthogonal direction, improving the camera-only 3D detection by introducing multi-agent collaborations. Our proposed collaborative camera-only 3D detection (CoCa3D) enables agents to share complementary information with each other through communication. Meanwhile, we optimize communication efficiency by selecting the most informative cues. The shared messages from multiple viewpoints disambiguate the single-agent estimated depth and complement the occluded and long-range regions in the single-agent view. We evaluate CoCa3D in one real-world dataset and two new simulation datasets. Results show that CoCa3D improves previous SOTA performances by 44.21% on DAIR-V2X, 30.60% on OPV2V+, 12.59% on CoPerception-UAVs+ for AP@70. Our preliminary results show a potential that with sufficient collaboration, the camera might overtake LiDAR in some practical scenarios. We released the dataset and code at https://siheng-chen.github.io/dataset/CoPerception+ and https://github.com/MediaBrain-SJTU/CoCa3D.
• Abstract（参考訳）: カメラのみの3D検出は、LiDARベースの検出システムと比較して、オブジェクトを3D空間にローカライズするための簡単な構成の経済的ソリューションを提供する。 しかし、入力に直接3D計測が欠けているため、正確な深さ推定が大きな課題である。 以前の多くの手法では、変形可能な層やより大きな受容場など、ネットワーク設計による深さ推定の改善を試みていた。 本研究は,マルチエージェントコラボレーションの導入により,カメラのみの3d検出を改善する直交方向を提案する。 提案するコラボレーティブカメラのみの3D検出(CoCa3D)により,エージェントは通信を通じて相互に補完情報を共有できる。 一方、最も情報性の高い手がかりを選択することで、通信効率を最適化する。 複数の視点からの共有メッセージは、シングルエージェント推定深度を曖昧にし、シングルエージェントビューにおけるオクルードおよびロングレンジ領域を補完する。 実世界の1つのデータセットと2つの新しいシミュレーションデータセットでCoCa3Dを評価する。 その結果、CoCa3Dは従来のSOTA性能をDAIR-V2Xで44.21%改善し、OPV2V+で30.60%、AP@70でCoPerception-UAVs+で12.59%向上した。 予備的な結果は、十分なコラボレーションで、カメラがLiDARを克服する可能性を示している。 私たちはデータセットとコードをhttps://siheng-chen.github.io/dataset/CoPerception+とhttps://github.com/MediaBrain-SJTU/CoCa3Dでリリースしました。

関連論文リスト

• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking [114.16306938870055]
  AMOTのための座標整列型マルチカメラ協調システムを提案する。 提案手法では,各カメラをエージェントとみなし,マルチエージェント強化学習ソリューションを用いてAMOTに対処する。 本システムでは,ベースライン法を8.9%上回る71.88%のカバレッジを実現している。
  論文  参考訳（メタデータ） (2022-02-22T13:28:40Z)
• Multi-modal 3D Human Pose Estimation with 2D Weak Supervision in Autonomous Driving [74.74519047735916]
  自動運転車(AV)における3次元ポーズ推定(HPE)は,多くの要因において他のユースケースと異なる。 他のユースケース(仮想現実、ゲーム、アニメーションなど)のために収集されたデータは、AVアプリケーションには使用できない可能性がある。 本稿では,この問題をAV設定で緩和するための最初のアプローチの1つを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:57:16Z)
• Is Pseudo-Lidar needed for Monocular 3D Object detection? [32.772699246216774]
  我々は,擬似ライダー法のような深度事前学習の恩恵を受けることができるエンド・ツー・エンドの単分子3次元物体検出器DD3Dを提案する。 我々のアーキテクチャは、深度推定と3次元検出の効果的な情報伝達のために設計されており、ラベルなし事前学習データの量でスケールすることができる。
  論文  参考訳（メタデータ） (2021-08-13T22:22:51Z)
• Categorical Depth Distribution Network for Monocular 3D Object Detection [7.0405916639906785]
  モノラル3D検出の重要な課題は、物体の深度を正確に予測することです。 多くの手法は3次元検出を支援するために直接深度を推定しようとするが、深度不正確な結果、限られた性能を示す。 Categorical Depth Distribution Network (CADDN) を提案し、3次元空間の適切な深さ間隔にリッチなコンテキスト特徴情報を投影する。 提案手法をkitti 3d object detection benchmarkで検証し, 単項法のうち1位にランク付けした。
  論文  参考訳（メタデータ） (2021-03-01T16:08:29Z)
• PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
  既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。 この2つのタスクを同一のメトリック空間で統一するモデルを提案する。 提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-17T05:11:38Z)
• ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection [69.68263074432224]
  ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。 ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。 さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
  論文  参考訳（メタデータ） (2020-03-01T17:18:08Z)
• SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation [3.1542695050861544]
  3Dの向きとオブジェクトの変換を推定することは、インフラストラクチャレスの自律走行と運転に不可欠である。 SMOKEと呼ばれる新しい3次元オブジェクト検出手法を提案する。 構造的単純さにもかかわらず、提案するSMOKEネットワークは、KITTIデータセット上の既存のモノクル3D検出方法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-24T08:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。