Fugu-MT 論文翻訳(概要): GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object Detector

論文の概要: GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object Detector

arxiv url: http://arxiv.org/abs/2102.12319v1
Date: Wed, 24 Feb 2021 14:56:37 GMT
ステータス: 処理完了
システム内更新日: 2021-02-26 09:51:19.115608
Title: GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object Detector
Title（参考訳）: GEM:Glare or Gloom, I can see you -- End-to-End Multimodal Object Detector
Authors: Osama Mazhar, Jens Kober and Robert Babuska
Abstract要約: 厳しい照明条件下での2次元物体検出のためのセンサ対応マルチモーダル融合戦略を提案する。本ネットワークは,各センサモダリティの測定信頼性をスカラーウェイトとマスクの形で推定する。提案手法はFLIR-Thermalデータセット上で既存の最先端手法よりも優れていることを示す。
参考スコア（独自算出の注目度）: 11.161639542268015
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks designed for vision tasks are often prone to failure when they encounter environmental conditions not covered by the training data. Efficient fusion strategies for multi-sensor configurations can enhance the robustness of the detection algorithms by exploiting redundancy from different sensor streams. In this paper, we propose sensor-aware multi-modal fusion strategies for 2D object detection in harsh-lighting conditions. Our network learns to estimate the measurement reliability of each sensor modality in the form of scalar weights and masks, without prior knowledge of the sensor characteristics. The obtained weights are assigned to the extracted feature maps which are subsequently fused and passed to the transformer encoder-decoder network for object detection. This is critical in the case of asymmetric sensor failures and to prevent any tragic consequences. Through extensive experimentation, we show that the proposed strategies out-perform the existing state-of-the-art methods on the FLIR-Thermal dataset, improving the mAP up-to 25.2%. We also propose a new "r-blended" hybrid depth modality for RGB-D multi-modal detection tasks. Our proposed method also obtained promising results on the SUNRGB-D dataset.
Abstract（参考訳）: ビジョンタスク用に設計されたディープニューラルネットワークは、トレーニングデータでカバーされていない環境条件に直面すると、しばしば失敗する。多センサ構成のための効率的な融合戦略は、異なるセンサストリームからの冗長性を利用して検出アルゴリズムの堅牢性を高めることができる。本稿では,厳しい照明条件下での2次元物体検出のためのセンサ対応マルチモーダル融合戦略を提案する。本ネットワークは,センサ特性を事前に知ることなく,スカラーウェイトやマスクの形で各センサモードの測定信頼性を推定する。得られた重みは抽出した特徴写像に割り当てられ、その後融合され、オブジェクト検出のためにトランストランスエンコーダデコーダネットワークに渡される。これは、非対称なセンサー故障の場合に重要であり、悲劇的な結果を防ぐ。広範な実験を通じて,提案手法がflir-thermalデータセットの既存の最先端手法を上回り,25.2%までマップを改良したことを示す。また、RGB-Dマルチモーダル検出タスクのための新しい"r-blended"ハイブリッド深度モダリティも提案する。提案手法ではSUNRGB-Dデータセットにも有望な結果が得られた。

関連論文リスト

Efficient Meta-Learning Enabled Lightweight Multiscale Few-Shot Object Detection in Remote Sensing Images [15.12889076965307]
YOLOv7ワンステージ検出器は、新しいメタラーニングトレーニングフレームワークが組み込まれている。この変換により、検出器はFSODのタスクに十分対応できると同時に、その固有の軽量化の利点を活かすことができる。提案検出器の有効性を検証するため, 現状の検出器と性能比較を行った。
論文参考訳（メタデータ） (2024-04-29T04:56:52Z)
Efficient Multi-Resolution Fusion for Remote Sensing Data with Label Uncertainty [0.7832189413179361]
本稿では,画素レベルのトレーニングラベルを必要とせず,マルチモーダル・マルチレゾリューションリモートセンサデータを融合する新しい手法を提案する。探索空間を削減し,MIMRFフレームワークの効率を大幅に改善する二元ファジィ測度に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-02-07T17:34:32Z)
Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文参考訳（メタデータ） (2022-03-30T11:44:56Z)
Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文参考訳（メタデータ） (2022-03-09T17:20:18Z)
A Comprehensive Evaluation on Multi-channel Biometric Face Presentation Attack Detection [6.488575826304023]
プレゼンテーションアタック検出(PAD)システムはこの問題に対処しようとする。一般化と堅牢性の欠如は、引き続き大きな関心事である。マルチチャネルの畳み込み型ネットワークアーキテクチャを用いて,画素単位のバイナリ監視を行う。
論文参考訳（メタデータ） (2022-02-21T15:04:39Z)
EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文参考訳（メタデータ） (2021-12-21T10:48:34Z)
EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文参考訳（メタデータ） (2021-06-21T10:47:26Z)
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文参考訳（メタデータ） (2021-04-20T05:43:44Z)
Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文参考訳（メタデータ） (2020-12-10T23:28:36Z)
MSDPN: Monocular Depth Prediction with Partial Laser Observation using Multi-stage Neural Networks [1.1602089225841632]
深層学習に基づくマルチステージネットワークアーキテクチャであるMulti-Stage Depth Prediction Network (MSDPN)を提案する。 MSDPNは2次元LiDARと単眼カメラを用いて深度マップを予測する。実験により,本ネットワークは最先端手法に対して有望な性能を示す。
論文参考訳（メタデータ） (2020-08-04T08:27:40Z)
Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
論文参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。