論文の概要: Multimodal Object Detection via Bayesian Fusion
- arxiv url: http://arxiv.org/abs/2104.02904v1
- Date: Wed, 7 Apr 2021 04:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-08 12:51:43.831559
- Title: Multimodal Object Detection via Bayesian Fusion
- Title(参考訳): ベイズ核融合によるマルチモーダル物体検出
- Authors: Yi-Ting Chen, Jinghao Shi, Christoph Mertz, Shu Kong, Deva Ramanan
- Abstract要約: 我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。
我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。
このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
- 参考スコア(独自算出の注目度): 59.31437166291557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object detection with multimodal inputs can improve many safety-critical
perception systems such as autonomous vehicles (AVs). Motivated by AVs that
operate in both day and night, we study multimodal object detection with RGB
and thermal cameras, since the latter can provide much stronger object
signatures under poor illumination. We explore strategies for fusing
information from different modalities. Our key contribution is a non-learned
late-fusion method that fuses together bounding box detections from different
modalities via a simple probabilistic model derived from first principles. Our
simple approach, which we call Bayesian Fusion, is readily derived from
conditional independence assumptions across different modalities. We apply our
approach to benchmarks containing both aligned (KAIST) and unaligned (FLIR)
multimodal sensor data. Our Bayesian Fusion outperforms prior work by more than
13% in relative performance.
- Abstract(参考訳): マルチモーダル入力による物体検出は、自動運転車(AV)のような多くの安全クリティカルな認識システムを改善することができる。
RGBとサーマルカメラを用いたマルチモーダル物体検出は, 日と夜の両方で動作するAVによって動機付けられ, 後者は照明不良下でより強力な物体シグネチャを提供することができるため, マルチモーダル物体検出について検討した。
異なるモダリティから情報を融合するための戦略を探る。
我々の重要な貢献は、第一原理から導かれる単純な確率モデルを通じて、異なるモードからの境界ボックス検出を融合する非学習遅延融合法である。
我々の単純なアプローチはベイズ核融合と呼ばれ、異なるモダリティの条件付き独立性仮定から容易に導かれる。
本手法は, 整列型(KAIST)と非整列型(FLIR)の両センサデータを含むベンチマークに適用する。
ベイジアン・フュージョンは、これまでの業績を13%以上上回っている。
関連論文リスト
- MMLF: Multi-modal Multi-class Late Fusion for Object Detection with Uncertainty Estimation [13.624431305114564]
本稿では,マルチクラス検出が可能なレイトフュージョンのための先駆的マルチモーダル・マルチクラスレイトフュージョン法を提案する。
KITTI検証と公式テストデータセットで実施された実験は、大幅なパフォーマンス改善を示している。
我々のアプローチでは、不確実性分析を分類融合プロセスに組み込んで、モデルをより透明で信頼性の高いものにします。
論文 参考訳(メタデータ) (2024-10-11T11:58:35Z) - Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。
近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。
本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
論文 参考訳(メタデータ) (2023-12-18T09:52:14Z) - MMDR: A Result Feature Fusion Object Detection Approach for Autonomous
System [5.499393552545591]
提案手法は,MMDR (Multi-Modal Detector based based Result features) と呼ばれ,2次元と3次元の両方のオブジェクト検出タスクで動作するように設計されている。
MMDRモデルは、機能融合の段階で、浅いグローバルな特徴を取り入れ、背景情報を知覚する能力を持つモデルを提供する。
論文 参考訳(メタデータ) (2023-04-19T12:28:42Z) - Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。
本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文 参考訳(メタデータ) (2023-03-01T15:48:27Z) - Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。
この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。
本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
論文 参考訳(メタデータ) (2022-04-21T02:35:23Z) - Interactive Multi-scale Fusion of 2D and 3D Features for Multi-object
Tracking [23.130490413184596]
我々は、PointNet++を導入し、ポイントクラウドのマルチスケールのディープ表現を取得し、提案したInteractive Feature Fusionに適応させる。
提案手法は,KITTIベンチマークにおいて,マルチスケールな特徴融合を使わずに優れた性能を実現し,他の手法よりも優れる。
論文 参考訳(メタデータ) (2022-03-30T13:00:27Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - Cross-Modality Fusion Transformer for Multispectral Object Detection [0.0]
マルチスペクトル画像ペアは、組み合わせた情報を提供し、オブジェクト検出アプリケーションがより信頼性が高く、堅牢になる。
本論文では,CFT (Cross-Modality Fusion Transformer) という,単純かつ効果的なクロスモーダル機能融合手法を提案する。
論文 参考訳(メタデータ) (2021-10-30T15:34:12Z) - VMLoc: Variational Fusion For Learning-Based Multimodal Camera
Localization [46.607930208613574]
本稿では,センサの入力を共通の潜在空間に融合させる,VMLocと呼ばれるエンドツーエンドフレームワークを提案する。
バニラ変分オートエンコーダの目的関数を直接適用する従来のマルチモーダル変分法とは異なり、カメラのローカライゼーションを正確に推定する方法を示す。
論文 参考訳(メタデータ) (2020-03-12T14:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。