論文の概要: Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration

• arxiv url: http://arxiv.org/abs/2608.10680v1
• Date: Tue, 11 Aug 2026 09:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.970362
• Title: Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration
• Title（参考訳）: 重度モード間ミスアライメント:明示的特徴-ドメインアフィンレジストレーションによる端端から端までの可視赤外物体検出
• Abstract要約: そこで本研究では,極端から端へ可視光を指向する物体検出器を提案する。 提案されたJFRDetは、DroneVehicle Misaligned (DVMA)上で69.7%$mathrmmAP_50$を達成する。
• 参考スコア（独自算出の注目度）: 17.74037850404483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-infrared object detection relies on complementary RGB and thermal cues, but its performance is often degraded by cross-modal spatial misalignment. Most existing methods rely on implicit feature adaptation to handle weakly misaligned scenarios, while large-offset geometric discrepancies remain insufficiently addressed. In this paper, we propose a Joint Feature-domain Registration and Detection network (JFRDet), an end-to-end visible-infrared oriented object detector tailored for severely cross-modal geometric discrepancies. JFRDet introduces a Cross-Modal Affine Alignment (CMAA) module to estimate an image-level affine transformation for explicit multi-level feature alignment. Note that illumination changes directly affect the reliability of RGB cues, an Illumination-Guided Complementary Fusion (IGCF) module adaptively exploits modality reliability under varying illumination conditions for cross-modal fusion. Then, an Alignment Quality-Consistency Gating (AQCG) strategy stabilizes joint optimization by modulating detection supervision according to alignment reliability and gradient consistency. We further construct DroneVehicle Misaligned (DVMA), a benchmark for evaluating visible-infrared oriented object detection under severe cross-modal geometric misalignment. The proposed JFRDet achieves 69.7\% $\mathrm{mAP}_{50}$ on DVMA, which represents state-of-the-art (SOTA) performance. The code and dataset will be available on GitHub.
• Abstract（参考訳）: 可視赤外物体検出は相補的なRGBと熱的手がかりに依存するが、その性能は空間的不整合によって劣化することが多い。 既存のほとんどの手法は、弱い一致のシナリオを扱うために暗黙的な特徴適応に依存しているが、大きなオフセットの幾何学的相違は未解決のままである。 本稿では,両端から端へ可視光を指向する物体検出装置であるJFRDet(Joint Feature-Domain Registration and Detection Network)を提案する。 JFRDetは、明示的なマルチレベル特徴アライメントのためのイメージレベルのアフィン変換を推定するために、Cross-Modal Affine Alignment (CMAA)モジュールを導入した。 照度変化がRGBキューの信頼性に直接影響していることに注意して、照度誘導相補融合(IGCF)モジュールは、交叉融合の様々な照度条件下で適応的にモダリティの信頼性を利用する。 そして、アライメント品質・一貫性ゲーティング(AQCG)戦略は、アライメントの信頼性と勾配の整合性に応じて検出監督を調整することにより、共同最適化を安定化する。 我々はさらに、重度なクロスモーダルな幾何学的ミスアライメントの下で可視赤外線指向物体検出を評価するためのベンチマークであるDroneVehicle Misaligned (DVMA)を構築した。 提案した JFRDet は DVMA 上で 69.7\% $\mathrm{mAP}_{50}$ を達成する。 コードとデータセットはGitHubで入手できる。

関連論文リスト

• GAAT: Geometry-Aware Alignment Transformer for Multimodal UAV Perception [7.90322991085067]
  無人航空機(UAV)のマルチモーダル認識は、可視光(RGB)、赤外線(IR)、合成開口レーダー(SAR)、様々な条件下でのシーン理解のための深度センサーを統合している。 本稿では,モーダル間相互作用前の局所対応信頼性を推定するアライメントファースト事前学習モデルGAATを提案する。 UAVMetaとStateBenchは,プラットフォームテレメトリと画像統計から得られる4つの取得状態スコアを提供する。
  論文  参考訳（メタデータ） (2026-08-28T06:36:17Z)
• BC-IHV: Conditioning the Color Space for Stable Rectified-Flow Low-Light Enhancement [51.79298431282401]
  低照度画像強調は、入力ですでに支持されている上書き構造を使わずに、あいまいな露出を補正する必要がある。 本研究では, 異なる色度/強度の幹を通した対応を保ちながら, SA-RF(Structure-Anchored Rectified Flow)を提案する。 また,学習可能なBox-Cox極色空間であるBC-IHVを導入する。
  論文  参考訳（メタデータ） (2026-08-22T08:43:00Z)
• EGM-Det: Entropy-Guided Multimodal Adaptive Fusion for UAV RGB-IR Object Detection [11.826446098340048]
  RGB-IRオブジェクト検出のためのエントロピー誘導型適応核融合フレームワークであるEGM-Detを提案する。 EGM-Detは、モダリティ固有の表現を保存するためにデュアルストリームアーキテクチャを使用している。 不均一な特徴を均一に組み合わせる代わりに、信頼できるRGBと赤外線のキューを選択的に集約する。
  論文  参考訳（メタデータ） (2026-08-12T05:51:48Z)
• Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking [58.338848435042536]
  RGB-Eventトラッキングは、イベントセンサからRGB外観テクスチャと高密度時間運動キューを融合することにより、ローカライズを改善する。 現実世界のシーンは、従来のマルチモーダル融合を妨げる多様な構造的な信号劣化に悩まされる。 本稿では,RGBイベント追跡に適した階層的摂動・検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-24T23:34:06Z)
• Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking [8.019596736149834]
  空間直交微細化(SOR)に基づくロバストなRGBイベント追跡のためのフレームワークであるSOR-Trackを提案する。 大規模なFE108ベンチマークの実験は、SOR-Trackが既存のフュージョンベースのトラッカーを一貫して上回っていることを示している。 その単純さにもかかわらず、提案手法はマルチモーダルな特徴アライメントとテクスチャの整合に対する原理的かつ物理的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-03-29T23:54:31Z)
• RSONet: Region-guided Selective Optimization Network for RGB-T Salient Object Detection [76.1829298714382]
  本稿では,RGB画像と熱画像の相違点に着目した。 RGB-T有向物体検出のための領域誘導選択最適化ネットワークを提案する。 我々は,RGB-Tデータセットに関する広範な実験を行い,提案したRSONetが27種類の最先端SOD手法と競合する性能を発揮することを示した。
  論文  参考訳（メタデータ） (2026-03-13T06:01:17Z)
• RTFDNet: Fusion-Decoupling for Robust RGB-T Segmentation [0.2578242050187029]
  RGB-Thermal (RGB-T)セマンティックセマンティックセグメンテーションは、低照度環境で動作するロボットシステムに不可欠である。 伝統的なアプローチは、しばしばモダリティバランスを過度に強調し、センサー信号が部分的に欠如している場合に、頑丈さや厳しい性能が制限される。
  論文  参考訳（メタデータ） (2026-03-10T03:40:26Z)
• Cross-Modal Alignment and Fusion for RGB-D Transmission-Line Defect Detection [11.637942429146172]
  本稿では,RGBの外観と深度幾何学を原理化されたヒューズ・パラダイムを通じて統合したクロスモーダルアライメント・アンド・フュージョン・ネットワークであるCMAFNetを提案する。 CMAFNetは、辞書ベースの特徴浄化を行うセマンティック再構成モジュールで構成されている。 軽量な派生型は228 FPSで24.8% mAP50に達し、わずか4.9Mのパラメータしか持たない。
  論文  参考訳（メタデータ） (2026-02-02T06:11:33Z)
• Multi-Domain Biometric Recognition using Body Embeddings [51.36007967653781]
  身体埋め込みは中波長赤外線(MWIR)領域と長波長赤外線(LWIR)領域の顔埋め込みよりも優れていた。 我々は、IJB-MDFデータセット上でのベンチマーク結果を確立するために、ビジョントランスフォーマーアーキテクチャを活用している。 また, クロスエントロピーとトリプルト損失の単純な組み合わせで, VISデータにのみ事前訓練された体モデルを微調整することで, 最先端のmAPスコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-13T22:38:18Z)
• Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
  高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。 提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
  論文  参考訳（メタデータ） (2025-01-25T06:21:06Z)
• DPDETR: Decoupled Position Detection Transformer for Infrared-Visible Object Detection [57.08921921586688]
  赤外可視物体検出は、赤外と可視画像の相補的な情報を活用することにより、堅牢な物体検出を実現することを目的としている。 相補的特徴を融合させることは困難であり、現在の手法では相補的条件下での両モードのオブジェクトを確実に見つけることはできない。 これらの問題に対処するための分離位置検出変換器を提案する。 DroneVehicleとKAISTデータセットの実験は、他の最先端の方法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-08-12T13:05:43Z)
• RGB-D Salient Object Detection with Cross-Modality Modulation and Selection [126.4462739820643]
  本稿では, RGB-D Salient Object Detection (SOD) において, モジュール間相補性を段階的に統合し, 改良する有効な方法を提案する。 提案するネットワークは,1)RGB画像とそれに対応する深度マップからの補完情報を効果的に統合する方法,および2)より精度の高い特徴を適応的に選択する方法の2つの課題を主に解決する。
  論文  参考訳（メタデータ） (2020-07-14T14:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。