論文の概要: 3DifFusionDet: Diffusion Model for 3D Object Detection with Robust
LiDAR-Camera Fusion
- arxiv url: http://arxiv.org/abs/2311.03742v1
- Date: Tue, 7 Nov 2023 05:53:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:36:00.438519
- Title: 3DifFusionDet: Diffusion Model for 3D Object Detection with Robust
LiDAR-Camera Fusion
- Title(参考訳): 3diffusiondet:ロバストlidarカメラ融合による3次元物体検出のための拡散モデル
- Authors: Xinhao Xiang, Simon Dr\"ager, Jiawei Zhang
- Abstract要約: 3DifFusionDetはノイズの多い3Dボックスからターゲットボックスへのノイズ拡散プロセスとして3Dオブジェクトを検出する。
特徴整合戦略の下では、プログレッシブ改良法はロバストLiDAR-Camera融合に重要な貢献をする可能性がある。
実世界の交通物体識別のベンチマークであるKITTIの実験では、3DifFusionDetが以前のよく検討された検出器と比較して好適に動作できることが判明した。
- 参考スコア(独自算出の注目度): 6.914463996768285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Good 3D object detection performance from LiDAR-Camera sensors demands
seamless feature alignment and fusion strategies. We propose the 3DifFusionDet
framework in this paper, which structures 3D object detection as a denoising
diffusion process from noisy 3D boxes to target boxes. In this framework,
ground truth boxes diffuse in a random distribution for training, and the model
learns to reverse the noising process. During inference, the model gradually
refines a set of boxes that were generated at random to the outcomes. Under the
feature align strategy, the progressive refinement method could make a
significant contribution to robust LiDAR-Camera fusion. The iterative
refinement process could also demonstrate great adaptability by applying the
framework to various detecting circumstances where varying levels of accuracy
and speed are required. Extensive experiments on KITTI, a benchmark for
real-world traffic object identification, revealed that 3DifFusionDet is able
to perform favorably in comparison to earlier, well-respected detectors.
- Abstract(参考訳): LiDAR-Cameraセンサーの優れた3Dオブジェクト検出性能は、シームレスな機能アライメントと融合戦略を必要とする。
本稿では,ノイズの多い3Dボックスからターゲットボックスへの拡散過程として3Dオブジェクト検出を行う3DifFusionDetフレームワークを提案する。
このフレームワークでは、基底真理ボックスはトレーニングのためにランダムな分布に拡散し、モデルはノイズ発生過程を逆転することを学ぶ。
推論の間、モデルは結果にランダムに生成されたボックスの集合を徐々に洗練する。
特徴整合戦略の下では、プログレッシブ改良法はロバストLiDAR-Camera融合に重要な貢献をする可能性がある。
反復的なリファインメントプロセスは、様々な精度と速度のレベルを必要とする様々な検出状況にフレームワークを適用することで、大きな適応性を示すこともできる。
実世界の交通物体識別のベンチマークであるKITTIの大規模な実験により、3DifFusionDetは以前のよく検討された検出器と比較して好適に動作可能であることが明らかになった。
関連論文リスト
- DiffuBox: Refining 3D Object Detection with Point Diffusion [74.01759893280774]
本研究では,3次元物体の検出と局所化を確保するために,新しい拡散型ボックス精細化手法を提案する。
提案手法は,様々なドメイン適応設定下で評価し,その結果,異なるデータセット間での大幅な改善が示された。
論文 参考訳(メタデータ) (2024-05-25T03:14:55Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2024-04-15T03:12:12Z) - Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection [77.23918785277404]
半教師付き3次元物体検出のための拡散モデルを用いて,擬似ラベルの品質向上に向けた新たな視点であるDiffusion-SS3Dを提案する。
具体的には、劣化した3Dオブジェクトサイズとクラスラベル、分布を生成し、拡散モデルをデノナイズプロセスとして利用し、バウンディングボックス出力を得る。
我々は,ScanNetとSUN RGB-Dベンチマークデータセットの実験を行い,既存手法に対する最先端性能の実現を実証した。
論文 参考訳(メタデータ) (2023-12-05T18:54:03Z) - DiffRef3D: A Diffusion-based Proposal Refinement Framework for 3D Object
Detection [15.149782382638485]
DiffRef3Dという新しいフレームワークを導入し,点雲による3次元物体検出における拡散過程を初めて適用した。
トレーニング中、DiffRef3Dはプロポーザルとターゲットオブジェクトの間の残余に徐々にノイズを加え、その後、仮説を生成するためにプロポーザルにノイズの残余を適用する。
精製モジュールはこれらの仮説を利用してノイズ残基をノイズ化し、正確なボックス予測を生成する。
論文 参考訳(メタデータ) (2023-10-25T04:17:13Z) - Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。
提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。
推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
論文 参考訳(メタデータ) (2023-09-05T08:49:53Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - Range Conditioned Dilated Convolutions for Scale Invariant 3D Object
Detection [41.59388513615775]
本稿では,LiDARデータをそのネイティブ表現(範囲画像)に直接処理する新しい3Dオブジェクト検出フレームワークを提案する。
2D畳み込みは、レンジ画像のコンパクト性から、シーンの高密度LiDARデータを効率的に処理することができる。
論文 参考訳(メタデータ) (2020-05-20T09:24:43Z) - 3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View
Spatial Feature Fusion for 3D Object Detection [10.507404260449333]
本稿では,3次元物体検出のためのカメラとLiDARセンサの融合アーキテクチャを提案する。
提案した3D-CVFは,KITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2020-04-27T08:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。