論文の概要: Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

• arxiv url: http://arxiv.org/abs/2606.24092v1
• Date: Tue, 23 Jun 2026 03:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.752333
• Title: Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection
• Title（参考訳）: 多スペクトル物体検出のためのプログレッシブPixel-Neighborhoodデフォルマブルクロスアテンション
• Authors: Tian Qiu, Jifeng Shen, Xin Zuo,
• Abstract要約: PNAFusion と呼ばれる多スペクトル特徴核融合のためのプログレッシブPixel-Neighborhood Deformable Cross-Attention を提案する。 PNAFusionは、その建築設計に地域空間の先行を取り入れ、最も関連性の高い地区に特徴の相互作用とアライメントを集中させる。 FLIR、M3FD、DroneVehicleの実験では、PNAFusionはそれぞれ84.2、90.5、85.5 mAP@0.5を達成した。
• 参考スコア（独自算出の注目度）: 4.239735466670748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective cross-modal feature alignment and interaction are central challenges in multispectral object detection. Although global cross-attention provides strong long-range modeling ability, its quadratic complexity with respect to feature size limits deployment on resource-constrained platforms. We therefore propose Progressive Pixel-Neighborhood Deformable Cross-Attention for multispectral feature fusion, termed PNAFusion. The proposed framework is motivated by two observations: weak misalignment between visible and thermal images is usually concentrated around local neighborhoods, and semantic correspondence across modalities often follows non-linear spatial mappings that fixed receptive fields cannot model well. To address these issues, PNAFusion incorporates local spatial priors into its architectural design to concentrate feature interaction and alignment on the most relevant neighborhoods. Specifically, a Pixel-Neighborhood Cross-Attention (PNCA) module is introduced to avoid redundant global feature matching and suppress background noise. Meanwhile, an Adaptive Deformable Alignment (ADA) module captures non-linear spatial correspondences through learned pixel-wise offsets. These components are further integrated through an iterative feedback mechanism to progressively refine cross-modal feature alignment. Experiments on FLIR, M3FD, and DroneVehicle show that PNAFusion achieves 84.2, 90.5, and 85.5 mAP@0.5, respectively, under the YOLOv5 detector, and further reaches 86.8 mAP@0.5 on FLIR and 90.8 mAP@0.5 on M3FD when transferred to Co-DETR. Efficiency analysis indicates that PNAFusion reduces allocated GPU memory by 33.0\% compared with ICAFusion and reduces theoretical FLOPs from 194.8 G to 156.4 G, although the deformable sampling and iterative refinement introduce additional latency. Our code will be available at https://github.com/DanielQiuTian/PNAFusion.
• Abstract（参考訳）: 効果的なクロスモーダルな特徴アライメントと相互作用は、マルチスペクトルオブジェクト検出における中心的な課題である。 グローバルなクロスアテンションは、強力な長距離モデリング機能を提供するが、リソース制約のあるプラットフォームにおける機能制限に対する2次的な複雑さがある。 PNAFusion と呼ばれる多スペクトル特徴核融合のためのプログレッシブPixel-Neighborhood Deformable Cross-Attention を提案する。 可視画像と熱画像の弱い相違は通常、局所的な周辺に集中しており、モーダル性間の意味的対応はしばしば、固定された受容場がうまくモデル化できないような非線形空間マッピングに従う。 これらの問題に対処するため、PNAFusionは、そのアーキテクチャ設計に地域空間の先行を組み込んで、最も関連する地区に特徴の相互作用とアライメントを集中させる。 具体的には、Pixel-Neighborhood Cross-Attention (PNCA)モジュールを導入し、冗長なグローバルな特徴マッチングを回避し、バックグラウンドノイズを抑制する。 一方、Adaptive Deformable Alignment (ADA)モジュールは、学習された画素単位のオフセットを通して非線形空間通信をキャプチャする。 これらのコンポーネントは、段階的にクロスモーダルな特徴アライメントを洗練するための反復的なフィードバックメカニズムによってさらに統合される。 FLIR、M3FD、DroneVehicleの実験では、PNAFusionはそれぞれ84.2、90.5、85.5 mAP@0.5に達し、さらにFLIRでは86.8 mAP@0.5、Co-DETRでは90.8 mAP@0.5に達する。 効率分析により、PNAFusionはICAFusionと比較して割り当てられたGPUメモリを33.0\%削減し、理論的FLOPを194.8Gから156.4Gに削減している。 私たちのコードはhttps://github.com/DanielQiuTian/PNAFusion.comで公開されます。

関連論文リスト

• Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
  Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。 独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
  論文  参考訳（メタデータ） (2026-06-11T17:48:38Z)
• RAFT-MSF++: Temporal Geometry-Motion Feature Fusion for Self-Supervised Monocular Scene Flow [51.43025173196566]
  単眼のシーンフロー推定は画像列から高密度な3次元動きを復元することを目的としている。 RAFT-MSF++は,時間的特徴を融合して深度とシーンフローを推定する自己教師型マルチフレームフレームワークである。 実験の結果、RAFT-MSF++はKITTI Scene Flowベンチマークで24.14%のSF-allを達成した。
  論文  参考訳（メタデータ） (2026-04-21T11:32:49Z)
• Hierarchical Awareness Adapters with Hybrid Pyramid Feature Fusion for Dense Depth Prediction [9.96771578356719]
  既存のアプローチは、深度マップを回帰するために、ますます複雑なネットワークアーキテクチャに依存している。 本論文では,Swin Transformerのバックボーン上に構築したマルチレベル条件付きランダムフィールド(CRF)モデルを提案する。 本稿では,Abs Relを0.088ドル(約7.4%)に,RMSEを0.316ドル(約5.4%)に削減し,ほぼ完全なしきい値精度を実現した。
  論文  参考訳（メタデータ） (2026-04-03T07:59:26Z)
• LAF-YOLOv10 with Partial Convolution Backbone, Attention-Guided Feature Pyramid, Auxiliary P2 Head, and Wise-IoU Loss for Small Object Detection in Drone Aerial Imagery [0.0]
  無人航空機は、監視、交通監視、災害対応のための主要なセンシングプラットフォームとして機能する。 現在の検出器は、わずか数ピクセルのターゲット、散らかった背景、重い閉塞、厳格な計算予算など、UAV固有の課題に対処している。 この研究は、YOLOv10n上に構築されたRAF-YOLOv10を紹介し、ドローン画像の小さな物体検出を改善するために4つの補完技術を統合する。
  論文  参考訳（メタデータ） (2026-02-13T18:23:54Z)
• Fluxamba: Topology-Aware Anisotropic State Space Models for Geological Lineament Segmentation in Multi-Source Remote Sensing [6.815807403335458]
  トポロジ対応の機能修正フレームワークを導入した軽量アーキテクチャを提案する。 F Fluxambaは3.4Mパラメータと6.3G FLOPで24FPS以上のリアルタイム推論速度を達成する。
  論文  参考訳（メタデータ） (2026-01-24T03:55:21Z)
• UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction [83.48950950780554]
  リモートセンシング画像からの抽出は、複雑な構造変化のために難しい課題である。 既存の方法は、セグメンテーションモデルにおけるマルチスケール特徴をキャプチャするために、畳み込みブロックまたは自己アテンションブロックを使用する。 高品質なグローバルローカルなビジュアルセマンティクスを活用するために,不確実性集約型グローバルローカルフュージョンネットワーク(UAGLNet)を提案する。
  論文  参考訳（メタデータ） (2025-12-15T02:59:16Z)
• DFIR-DETR: Frequency Domain Enhancement and Dynamic Feature Aggregation for Cross-Scene Small Object Detection [16.16000521213211]
  UAVリモートセンシング画像の小型物体検出は困難である。 現在の変圧器ベースの検出器は、3つの重要な問題に悩まされている。 本稿ではDFIR-DETRを導入し,周波数領域処理と組み合わせた動的特徴集約手法を提案する。
  論文  参考訳（メタデータ） (2025-12-08T01:25:10Z)
• An Efficient Aerial Image Detection with Variable Receptive Fields [0.0]
  3つの鍵成分を組み込んだ変圧器型検出器を提案する。 VRF-DETRは51.4%のmAPtextsubscript50と31.8%のmAPtextsubscript50:95を13.5Mパラメータで達成している。
  論文  参考訳（メタデータ） (2025-04-21T15:16:13Z)
• DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
  ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。 我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
  論文  参考訳（メタデータ） (2022-03-15T18:46:06Z)
• MixSTE: Seq2seq Mixed Spatio-Temporal Encoder for 3D Human Pose Estimation in Video [75.23812405203778]
  近年, 学習時間相関のため, 全フレームのボディジョイントを世界規模で考慮し, 2次元キーポイントシーケンスから3次元人間のポーズを推定する手法が提案されている。 本研究では,各関節の時間的動きを別々にモデル化する時間的変圧器ブロックと,関節間空間相関を有する変圧器ブロックを有するミキシングミキシングを提案する。 さらに、ネットワーク出力は、中央フレームから入力ビデオの全フレームに拡張され、入力と出力のベンチマーク間のコヒーレンスが改善される。
  論文  参考訳（メタデータ） (2022-03-02T04:20:59Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。