論文の概要: MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization

• arxiv url: http://arxiv.org/abs/2302.00290v3
• Date: Sat, 11 Nov 2023 12:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 22:28:41.157225
• Title: MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization
• Title（参考訳）: MS-DETR:低結合核融合型マルチスペクトル歩行者検出変換器とモードベース最適化
• Authors: Yinghui Xing, Song Wang, Shizhou Zhang, Guoqiang Liang, Xiuwei Zhang, Yanning Zhang
• Abstract要約: マルチスペクトル歩行者検出TRansformer (MS-DETR) は、エンドツーエンドの多スペクトル歩行者検出器である。 MS-DETRは2つのモダリティ固有のバックボーンとトランスフォーマーエンコーダで構成され、その後マルチモーダルトランスフォーマーデコーダが続く。 我々のエンドツーエンドのMS-DETRは、挑戦的なKAIST、CVC-14、LLVIPベンチマークデータセットよりも優れた性能を示している。
• 参考スコア（独自算出の注目度）: 43.958268661078925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multispectral pedestrian detection is an important task for many around-the-clock applications, since the visible and thermal modalities can provide complementary information especially under low light conditions. Most of the available multispectral pedestrian detectors are based on non-end-to-end detectors, while in this paper, we propose MultiSpectral pedestrian DEtection TRansformer (MS-DETR), an end-to-end multispectral pedestrian detector, which extends DETR into the field of multi-modal detection. MS-DETR consists of two modality-specific backbones and Transformer encoders, followed by a multi-modal Transformer decoder, and the visible and thermal features are fused in the multi-modal Transformer decoder. To well resist the misalignment between multi-modal images, we design a loosely coupled fusion strategy by sparsely sampling some keypoints from multi-modal features independently and fusing them with adaptively learned attention weights. Moreover, based on the insight that not only different modalities, but also different pedestrian instances tend to have different confidence scores to final detection, we further propose an instance-aware modality-balanced optimization strategy, which preserves visible and thermal decoder branches and aligns their predicted slots through an instance-wise dynamic loss. Our end-to-end MS-DETR shows superior performance on the challenging KAIST, CVC-14 and LLVIP benchmark datasets. The source code is available at https://github.com/YinghuiXing/MS-DETR .
• Abstract（参考訳）: 可視・熱変調は特に低照度条件下で相補的な情報を提供することができるため、多スペクトル歩行者検出は、多くの時空応用にとって重要な課題である。 利用可能なマルチスペクトル歩行者検出装置のほとんどが非エンド・ツー・エンド検出器に基づいているが,本稿ではマルチスペクトル歩行者検出用トランスフォーマ(ms-detr)を提案し,detrをマルチモーダル検出の分野に拡張する。 ms-detrは2つのモダリティ固有のバックボーンとトランスエンコーダで構成され、続いてマルチモーダルトランスフォーマデコーダがあり、可視性と熱的特徴はマルチモーダルトランスフォーマデコーダで融合される。 マルチモーダル画像間の不一致によく抵抗するため,マルチモーダル特徴のキーポイントを個別に抽出し,適応的に学習した注意重みでそれらを融合することにより,疎結合な融合戦略を設計する。 さらに、異なるモダリティだけでなく、異なる歩行者インスタンスが最終検出のために異なる信頼度スコアを持つ傾向があるという知見に基づいて、可視およびサーマルデコーダの分岐を保存し、インスタンス毎の動的損失を通じて予測スロットを整列するインスタンス対応モダリティバランス最適化戦略を提案する。 我々のエンドツーエンドMS-DETRは、挑戦的なKAIST、CVC-14、LLVIPベンチマークデータセットよりも優れた性能を示している。 ソースコードはhttps://github.com/YinghuiXing/MS-DETR で公開されている。

関連論文リスト

• Multi-scale Bottleneck Transformer for Weakly Supervised Multimodal Violence Detection [9.145305176998447]
  弱教師付きマルチモーダル暴力検出は、複数のモダリティを活用することで暴力検出モデルを学ぶことを目的としている。 本稿では,情報冗長性,モダリティの不均衡,モダリティの非同期性といった課題に明示的に対処する,弱教師付きMVD法を提案する。 最大規模のXD-Violenceデータセットの実験により,提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-08T15:27:08Z)
• MSCoTDet: Language-driven Multi-modal Fusion for Improved Multispectral Pedestrian Detection [44.35734602609513]
  大規模言語モデルを用いた多スペクトル歩行者検出におけるモダリティバイアスの軽減方法について検討する。 我々は,MSCoTプロンプトをマルチスペクトル歩行者検出に統合する新しいMSCoTDetフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-22T13:50:27Z)
• DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
  赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。 本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。 4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-01T07:03:27Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
  マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。 この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。 本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:35:23Z)
• Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems [12.806496583571858]
  多スペクトル歩行者検出は、色温度変調を利用して、照明条件の不十分さに適応することができる。 従来の歩行者検出と比較して、多スペクトル歩行者検出はモダリティの不均衡問題に悩まされている。 より柔軟でバランスの取れた最適化プロセスを容易にするMBNet(Modality Balance Network)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T08:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。