論文の概要: Dual Sparse Aggregation Transformer for Multispectral Object Detection

• arxiv url: http://arxiv.org/abs/2606.31015v1
• Date: Tue, 30 Jun 2026 01:05:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.036241
• Title: Dual Sparse Aggregation Transformer for Multispectral Object Detection
• Title（参考訳）: マルチスペクトル物体検出用デュアルスパースアグリゲーション変換器
• Abstract要約: マルチスペクトル検出のための新しいデュアルスパースアグリゲーション変換器(DSAFormer)を提案する。 具体的には、DSAFormerは、クロスモーダル補完情報を活用および強化するために設計されている。 提案するDSAFormerは,4つの公開データセット上での最先端手法に対する検出性能を向上する。
• 参考スコア（独自算出の注目度）: 34.20084627163684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based approaches have obtained excellent performance in multispectral object detection tasks due to their ability to model long-range dependencies and capture complementary information. However, previous transformer-based multispectral detection methods tend to use all available tokens for similarity calculation, which results in redundant information interaction from irrelevant areas, leading to degraded detection performance. To overcome this challenge, we propose a novel Dual Sparse Aggregation Transformer (DSAFormer) for multispectral object detection, which consists of a Dual Sparse Transformer (DSFormer) and a Learnable Addition Fusion Block (LAFB). Specifically, the DSFormer is designed to exploit and boost cross-modal complementary information, thereby improving detection performance. It incorporates three key components: A Spatial Sparse Multi-Head Cross-Attention (SSMHCA) mechanism selectively captures cross-modal relationships at the spatial level by reserving only the high query-key similarity scores, eliminating irrelevant interactions. A Channel Sparse Multi-Head Cross-Attention (CSMHCA) mechanism performs similar sparse calculations at the channel level to enhance feature representation and filter out low matching query-key. A Multi-Scale Feature Refinement Layer (MSFRL) is developed to aggregate hierarchical features and suppress redundant information. To effectively fuse multimodal features, the LAFB is introduced to aggregate intramodal and intermodal feature information by feature reweighting. Extensive experimental results have demonstrated that our proposed DSAFormer achieves better detection performance against state-of-the-art methods on four public datasets, including the MFAD, FLIR, M$^3$FD, and LLVIP. The source code of our DSAFormer will be released at https://github.com/WenCongWu/DSAFormer.
• Abstract（参考訳）: トランスフォーマーに基づくアプローチは、長距離依存をモデル化し、相補的な情報をキャプチャできるため、マルチスペクトルオブジェクト検出タスクにおいて優れた性能を得た。 しかし, 従来の変圧器を用いたマルチスペクトル検出手法では, 類似性計算に利用可能なトークンを全て使用する傾向があり, 結果として無関係領域からの冗長な情報相互作用が生じ, 劣化検出性能が低下する。 この課題を克服するために、Dual Sparse Aggregation Transformer (DSAFormer) とLearable Addition Fusion Block (LAFB) を組み合わせたマルチスペクトルオブジェクト検出のための新しいDSAFormerを提案する。 具体的には、DSFormerは、クロスモーダル補完情報を活用、強化し、検出性能を向上させるように設計されている。 SSMHCA(Spatial Sparse Multi-Head Cross-Attention)メカニズムは、高いクエリキー類似度スコアのみを保持することで、空間レベルでの相互関係を選択的にキャプチャする。 Channel Sparse Multi-Head Cross-Attention (CSMHCA) 機構は、チャネルレベルで同様のスパース計算を行い、特徴表現を強化し、マッチングの少ないクエリキーをフィルタリングする。 階層的な特徴を集約し、冗長な情報を抑制するため、MSFRL(Multi-Scale Feature Refinement Layer)が開発された。 マルチモーダル特徴を効果的に融合するために、LAFBを導入し、特徴再重み付けによりモーダル内およびモーダル間特徴情報を集約する。 提案したDSAFormerは,MFAD,FLIR,M$^3$FD,LLVIPを含む4つの公開データセットにおける最先端手法に対する検出性能が向上することを示した。 DSAFormerのソースコードはhttps://github.com/WenCongWu/DSAFormer.comで公開されます。

関連論文リスト

• S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
  シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。 RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
  論文  参考訳（メタデータ） (2026-08-18T08:05:00Z)
• Source-Free Object Detection with Detection Transformer [59.33653163035064]
  Source-Free Object Detection (SFOD) は、ソースデータにアクセスすることなく、ソースドメインから教師なしのターゲットドメインへの知識転送を可能にする。 ほとんどの既存のSFODアプローチは、より高速なR-CNNのような従来のオブジェクト検出(OD)モデルに限られるか、新しいODアーキテクチャ、特に検出変換器(DETR)に適合しない一般的なソリューションとして設計されている。 本稿では,DTRのクエリ中心の機能強化を特化して設計された新しいSFODフレームワークであるFeature Reweighting ANd Contrastive Learning NetworK(FRANCK)を紹介する。
  論文  参考訳（メタデータ） (2025-10-13T07:35:04Z)
• Cross Spatial Temporal Fusion Attention for Remote Sensing Object Detection via Image Feature Matching [15.57849268814515]
  参照画像とクエリ画像の両方で独立に検出されたスケール不変キーポイントを統合することで特徴表現を強化する機構を提案する。 まず、複数の画像領域からの情報を同時に活用する対応マップを作成し、次に、類似性マッチングプロセスを分類タスクとして再構成することで、特徴マッチングを改善する。 改良された特徴マッチングの実用性を示すために,HRSC2016およびDOTAベンチマークデータセットを用いてオブジェクト検出タスクのCSTFを評価する。
  論文  参考訳（メタデータ） (2025-07-25T09:52:06Z)
• Dual-Perspective United Transformer for Object Segmentation in Optical Remote Sensing Images [38.942152581251165]
  本稿では,長距離依存関係と空間的詳細を同時に統合するユニークな構造を持つDPU変換器を提案する。 特に,2つの視点から多種多様な情報を捉えるグローバル・ローカル・ミックス・アテンションを設計する。 本稿では,表現能力を高めるために,ゲート型線形フィードフォワードネットワークを提案する。
  論文  参考訳（メタデータ） (2025-06-27T02:40:48Z)
• Prototype-Based Information Compensation Network for Multi-Source Remote Sensing Data Classification [56.065032039986725]
  マルチソースリモートセンシングデータ共同分類は、土地被覆分類の精度と信頼性を提供することを目的としている。 既存の手法では、周波数間マルチソース特徴結合と相補的な情報探索の不整合という2つの課題に直面している。 HSIとSAR/LiDARデータに基づく土地被覆分類のためのプロトタイプベース情報補償ネットワーク(PICNet)を提案する。
  論文  参考訳（メタデータ） (2025-05-06T22:30:23Z)
• SeaDATE: Remedy Dual-Attention Transformer with Semantic Alignment via Contrast Learning for Multimodal Object Detection [18.090706979440334]
  マルチモーダルオブジェクト検出は、様々なモーダル情報を活用して、検出器の精度と堅牢性を高める。 現在の方法では、トランスフォーマー誘導核融合技術は、ネットワークの様々な深さ層における特徴を抽出する能力を探ることなく、単純にスタック化されている。 本論文では,SeaDATEと呼ばれる高精度かつ効率的な物体検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T07:26:39Z)
• PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest [65.48057241587398]
  PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。 提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。 我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2024-03-14T09:28:12Z)
• Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
  マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。 早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。 本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
  論文  参考訳（メタデータ） (2023-10-21T00:56:11Z)
• ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection [25.66305300362193]
  大域的特徴相互作用をモデル化するために、二重対向変換器の新たな特徴融合フレームワークを提案する。 このフレームワークは、クエリ誘導のクロスアテンション機構を通じて、オブジェクトの特徴の識別性を高める。 提案手法は,様々なシナリオに適した性能と高速な推論を実現する。
  論文  参考訳（メタデータ） (2023-08-15T00:02:10Z)
• Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
  STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
  論文  参考訳（メタデータ） (2023-07-01T13:53:14Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• AFD-Net: Adaptive Fully-Dual Network for Few-Shot Object Detection [8.39479809973967]
  Few-shot Object Detection (FSOD) は、未確認の物体に迅速に適応できる検出器の学習を目的としている。 既存の方法では、共有コンポーネントを用いて分類と局所化のサブタスクを実行することで、この問題を解決している。 本稿では,2つのサブタスクの明示的な分解を考慮し,両者の情報を活用して特徴表現の強化を図ることを提案する。
  論文  参考訳（メタデータ） (2020-11-30T10:21:32Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。