論文の概要: DPDETR: Decoupled Position Detection Transformer for Infrared-Visible Object Detection

• arxiv url: http://arxiv.org/abs/2408.06123v1
• Date: Mon, 12 Aug 2024 13:05:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 14:15:41.029146
• Title: DPDETR: Decoupled Position Detection Transformer for Infrared-Visible Object Detection
• Title（参考訳）: DPDETR:赤外線可視物体検出用分離位置検出変換器
• Authors: Junjie Guo, Chenqiang Gao, Fangcen Liu, Deyu Meng,
• Abstract要約: 赤外可視物体検出は、赤外と可視画像の相補的な情報を活用することにより、堅牢な物体検出を実現することを目的としている。 相補的特徴の融合は困難であり、現在の手法では相補的条件下での両モードの物体の正確な検出はできない。 これらの問題に対処するための分離位置検出変換器を提案する。 DroneVehicleとKAISTデータセットの実験は、他の最先端の方法と比較して大幅に改善されている。
• 参考スコア（独自算出の注目度）: 42.70285733630796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared-visible object detection aims to achieve robust object detection by leveraging the complementary information of infrared and visible image pairs. However, the commonly existing modality misalignment problem presents two challenges: fusing misalignment complementary features is difficult, and current methods cannot accurately locate objects in both modalities under misalignment conditions. In this paper, we propose a Decoupled Position Detection Transformer (DPDETR) to address these problems. Specifically, we explicitly formulate the object category, visible modality position, and infrared modality position to enable the network to learn the intrinsic relationships and output accurate positions of objects in both modalities. To fuse misaligned object features accurately, we propose a Decoupled Position Multispectral Cross-attention module that adaptively samples and aggregates multispectral complementary features with the constraint of infrared and visible reference positions. Additionally, we design a query-decoupled Multispectral Decoder structure to address the optimization gap among the three kinds of object information in our task and propose a Decoupled Position Contrastive DeNosing Training strategy to enhance the DPDETR's ability to learn decoupled positions. Experiments on DroneVehicle and KAIST datasets demonstrate significant improvements compared to other state-of-the-art methods. The code will be released at https://github.com/gjj45/DPDETR.
• Abstract（参考訳）: 赤外可視物体検出は、赤外と可視画像の相補的な情報を活用することにより、堅牢な物体検出を実現することを目的としている。 相補的特徴の融合は困難であり、現在の手法では相補的条件下で両方の相補的対象を正確に見つけることはできない。 本稿では,これらの問題に対処するための分離位置検出変換器(DPDETR)を提案する。 具体的には、対象カテゴリ、可視モダリティ位置、赤外線モダリティ位置を明示的に定式化し、本質的な関係を学習し、両方のモダリティでオブジェクトの正確な位置を出力する。 本稿では,不整合物体の特徴を正確に融合させるために,赤外および可視の基準位置の制約を伴って多スペクトル補完特徴を適応的にサンプリング・集約するデカップリング位置多スペクトルクロスアテンションモジュールを提案する。 さらに,タスク内の3種類のオブジェクト情報間の最適化ギャップに対処するクエリ分離型マルチスペクトルデコーダ構造を設計し,DPDETRの非結合位置学習能力を高めるための非結合位置コントラスト型デノーシングトレーニング戦略を提案する。 DroneVehicleとKAISTデータセットの実験は、他の最先端の方法と比較して大幅に改善されている。 コードはhttps://github.com/gjj45/DPDETRで公開される。

関連論文リスト

• DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
  赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。 本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。 4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-01T07:03:27Z)
• Removal then Selection: A Coarse-to-Fine Fusion Perspective for RGB-Infrared Object Detection [20.12812979315803]
  可視光(RGB)と熱赤外(IR)画像の両方を利用した物体検出が注目されている。 既存の多くのマルチモーダルオブジェクト検出手法は、RGBとIR画像をディープニューラルネットワークに直接入力する。 両モダリティから特徴を浄化・融合する新しい粗大な視点を提案する。
  論文  参考訳（メタデータ） (2024-01-19T14:49:42Z)
• Enhancing Deformable Local Features by Jointly Learning to Detect and Describe Keypoints [8.390939268280235]
  局所特徴抽出は、画像マッチングや検索といった重要なタスクに対処するためのコンピュータビジョンにおける標準的なアプローチである。 鍵点を共同で検出・記述する新しい変形認識ネットワークであるDALFを提案する。 提案手法は、変形可能なオブジェクト検索と、非剛性な3次元表面登録という、2つの実世界のアプリケーションの性能を向上させる。
  論文  参考訳（メタデータ） (2023-04-02T18:01:51Z)
• Adaptive Rotated Convolution for Rotated Object Detection [96.94590550217718]
  本稿では、回転物体検出問題に対処するために、適応回転変換(ARC)モジュールを提案する。 ARCモジュールでは、コンボリューションカーネルが適応的に回転し、異なる画像に異なる向きのオブジェクト特徴を抽出する。 提案手法は,81.77%mAPのDOTAデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-14T11:53:12Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
  マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。 この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。 本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:35:23Z)
• Multi-View Adaptive Fusion Network for 3D Object Detection [14.506796247331584]
  LiDAR-カメラ融合に基づく3Dオブジェクト検出は、自動運転の新たな研究テーマになりつつある。 本稿では,LiDARの鳥眼ビュー,LiDARレンジビュー,カメラビューイメージを3Dオブジェクト検出の入力として利用する,単一ステージ多視点融合フレームワークを提案する。 これら2つのコンポーネントを統合するために,MVAF-Netというエンドツーエンドの学習ネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-02T00:06:01Z)
• Align Deep Features for Oriented Object Detection [40.28244152216309]
  本稿では、FAM(Feature Alignment Module)とODM(Oriented Detection Module)の2つのモジュールからなる単発アライメントネットワーク(S$2$A-Net)を提案する。 FAMは、アンカー・リファインメント・ネットワークで高品質なアンカーを生成し、アンカーボックスに応じた畳み込み特徴と、新しいアライメント・コンボリューション・コンボリューションとを適応的に調整することができる。 ODMは、まず、向き情報を符号化するためにアクティブな回転フィルタを採用し、次に、分類スコアとローカライゼーション精度の不整合を軽減するために、向きに敏感で方向不変な特徴を生成する。
  論文  参考訳（メタデータ） (2020-08-21T09:55:13Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。