論文の概要: Learned Fusion: 3D Object Detection using Calibration-Free Transformer Feature Fusion

• arxiv url: http://arxiv.org/abs/2312.09082v1
• Date: Thu, 14 Dec 2023 16:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 21:02:11.799628
• Title: Learned Fusion: 3D Object Detection using Calibration-Free Transformer Feature Fusion
• Title（参考訳）: learned fusion:キャリブレーションフリー変圧器機能融合を用いた3次元物体検出
• Authors: Michael F\"urst, Rahul Jakkamsetty, Ren\'e Schuster, Didier Stricker
• Abstract要約: 3次元物体検出のための第1のキャリブレーションフリー手法を提案する。 私たちのアプローチでは、トランスフォーマーを使用して、異なるセンサーの複数のビュー間の特徴をマップします。
• 参考スコア（独自算出の注目度）: 12.131745767490298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The state of the art in 3D object detection using sensor fusion heavily relies on calibration quality, which is difficult to maintain in large scale deployment outside a lab environment. We present the first calibration-free approach for 3D object detection. Thus, eliminating the need for complex and costly calibration procedures. Our approach uses transformers to map the features between multiple views of different sensors at multiple abstraction levels. In an extensive evaluation for object detection, we not only show that our approach outperforms single modal setups by 14.1% in BEV mAP, but also that the transformer indeed learns mapping. By showing calibration is not necessary for sensor fusion, we hope to motivate other researchers following the direction of calibration-free fusion. Additionally, resulting approaches have a substantial resilience against rotation and translation changes.
• Abstract（参考訳）: センサ融合を用いた3次元物体検出の現状は、キャリブレーションの品質に大きく依存しており、実験室外の大規模展開では維持が困難である。 3次元物体検出のための最初のキャリブレーションフリーアプローチを提案する。 したがって、複雑でコストのかかる校正手順を不要にする。 我々のアプローチでは、トランスフォーマーを使用して、異なるセンサーの複数のビュー間の機能を複数の抽象化レベルでマッピングする。 物体検出の広範な評価において、我々のアプローチが単一のモード設定よりもbevマップで14.1%上回るだけでなく、トランスフォーマーがマッピングを実際に学習していることを示す。 センサ融合にはキャリブレーションは不要であることを示すことで,キャリブレーションフリー融合の方向性に従って,他の研究者にモチベーションを与えたいと思っています。 さらに、結果として生じるアプローチは、回転や翻訳の変化に対して実質的なレジリエンスを持つ。

関連論文リスト

• Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
  既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。 本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。 我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-09T22:57:47Z)
• A re-calibration method for object detection with multi-modal alignment bias in autonomous driving [7.601405124830806]
  自律走行における多モード物体検出は、異なるセンサからの補完情報を融合させることにより、大きなブレークスルーを達成した。 実際には、キャリブレーション行列は車両が工場を出る際に固定されるが、振動、バンプ、データラグはキャリブレーションバイアスを引き起こす可能性がある。 我々は,SOTA検出方式EPNet++の実験を行い,キャリブレーションの偏りをわずかに示し,性能を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2024-05-27T05:46:37Z)
• Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted Data [4.3012765978447565]
  この研究は、データの破損に対処し、3Dオブジェクト検出のためのセンサ融合をより堅牢にする新しい融合ステップを示す。 提案手法は,通常のデータに対する最先端手法と同等に動作し,不整合データに対して性能を向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T18:06:29Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Hierarchical Point Attention for Indoor 3D Object Detection [111.04397308495618]
  本研究は、点ベース変圧器検出器の汎用階層設計として、2つの新しい注意操作を提案する。 まず、よりきめ細かい特徴学習を可能にするために、シングルスケールの入力機能からマルチスケールトークンを構築するマルチスケール注意(MS-A)を提案する。 第2に,適応型アテンション領域を持つサイズ適応型ローカルアテンション(Local-A)を提案する。
  論文  参考訳（メタデータ） (2023-01-06T18:52:12Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
  ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。 我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
  論文  参考訳（メタデータ） (2022-03-15T18:46:06Z)
• Embracing Single Stride 3D Object Detector with Sparse Transformer [63.179720817019096]
  自律走行のためのLiDARを用いた3次元物体検出では、物体サイズと入力シーンサイズとの比が2次元検出の場合に比べて有意に小さい。 多くの3D検出器は2D検出器の一般的な慣習に従っており、点雲の定量化後も特徴マップを分解する。 本稿では,SST(Single-stride Sparse Transformer)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:12:02Z)
• Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor Setups [68.8204255655161]
  本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。 提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
  論文  参考訳（メタデータ） (2021-01-12T12:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。