論文の概要: Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle Re-identification

• arxiv url: http://arxiv.org/abs/2305.13659v1
• Date: Tue, 23 May 2023 04:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:14:44.655388
• Title: Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle Re-identification
• Title（参考訳）: マルチスペクトル車両再識別のためのフレアアウェアクロスモーダル拡張ネットワーク
• Authors: Aihua Zheng, Zhiqi Ma, Zi Wang, Chenglong Li
• Abstract要約: 厳しい環境下では、RGBとNIRモダリティの非ネイティブな手がかりは、車両のランプや日光からの強いフレアによってしばしば失われる。 フレア崩壊したRGBとNIRの特徴をフレア免疫熱赤外スペクトルから誘導して適応的に復元するフレア・アウェア・クロスモーダル・エンハンスメント・ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 29.48387524901101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-spectral vehicle re-identification aims to address the challenge of identifying vehicles in complex lighting conditions by incorporating complementary visible and infrared information. However, in harsh environments, the discriminative cues in RGB and NIR modalities are often lost due to strong flares from vehicle lamps or sunlight, and existing multi-modal fusion methods are limited in their ability to recover these important cues. To address this problem, we propose a Flare-Aware Cross-modal Enhancement Network that adaptively restores flare-corrupted RGB and NIR features with guidance from the flare-immunized thermal infrared spectrum. First, to reduce the influence of locally degraded appearance due to intense flare, we propose a Mutual Flare Mask Prediction module to jointly obtain flare-corrupted masks in RGB and NIR modalities in a self-supervised manner. Second, to use the flare-immunized TI information to enhance the masked RGB and NIR, we propose a Flare-Aware Cross-modal Enhancement module that adaptively guides feature extraction of masked RGB and NIR spectra with prior flare-immunized knowledge from the TI spectrum. Third, to extract common informative semantic information from RGB and NIR, we propose an Inter-modality Consistency loss that enforces semantic consistency between the two modalities. Finally, to evaluate the proposed FACENet in handling intense flare, we introduce a new multi-spectral vehicle re-ID dataset, called WMVEID863, with additional challenges such as motion blur, significant background changes, and particularly intense flare degradation. Comprehensive experiments on both the newly collected dataset and public benchmark multi-spectral vehicle re-ID datasets demonstrate the superior performance of the proposed FACENet compared to state-of-the-art methods, especially in handling strong flares. The code and dataset will be released soon.
• Abstract（参考訳）: マルチスペクトル車両再識別は、複雑な照明条件下での車両識別の課題に対して、補完的な可視情報と赤外線情報を統合することを目的としている。 しかし,過酷な環境下では,車両灯や日光からの強いフレアにより,rgbとnirモードの識別的手がかりが失われることが多く,既存のマルチモーダル融合法はこれらの重要な手がかりを回収する能力に制限されている。 この問題に対処するために、フレア免疫熱赤外スペクトルから誘導されるフレア崩壊RGBとNIRの特徴を適応的に復元するフレア対応クロスモーダル拡張ネットワークを提案する。 まず, 豪華なフレアによる局部劣化による外観への影響を低減するため, RGB と NIR の両モードで共同でフレア崩壊マスクを得るための相互フレアマスク予測モジュールを提案する。 第2に、フレア免疫されたTI情報を用いて、マスクされたRGBとNIRを強化するために、マスクされたRGBとNIRスペクトルの特徴抽出を、事前のフレア免疫された知識で適応的に誘導するフレア・アウェア・クロスモーダル・エンハンスメント・モジュールを提案する。 第3に、RGBとNIRから共通情報的意味情報を抽出するために、両モード間の意味的一貫性を強制するモダリティ間一貫性損失を提案する。 最後に,提案手法による激しいフレアに対処するためのファセットネットを評価するために,wmveid863と呼ばれる新しいマルチスペクトル車両のre-idデータセットを導入する。 新たに収集したデータセットと公開ベンチマークのマルチスペクトル車用re-IDデータセットの総合的な実験は、特に強いフレアを扱う場合の最先端手法と比較して、提案したFACENetの優れた性能を示している。 コードとデータセットは間もなくリリースされる。

関連論文リスト

• NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset [53.79524776100983]
  近赤外(NIR)画像を活用して、視認可能なRGB画像の復調を支援することで、この問題に対処する可能性を示している。 既存の作品では、NIR情報を効果的に活用して現実のイメージを飾ることに苦戦している。 先進デノナイジングネットワークにプラグイン・アンド・プレイ可能な効率的な選択核融合モジュール(SFM)を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:54:26Z)
• Removal and Selection: Improving RGB-Infrared Object Detection via Coarse-to-Fine Fusion [20.12812979315803]
  既存の融合戦略のほとんどは、RGBとIR画像をディープニューラルネットワークに直接入力し、検出性能が劣る。 2つのモダリティの特徴を清浄し、融合させるために、新しい粗大な視点を導入する。 粗大な核融合戦略の有効性を検証するため、除去・選択検出器(RSDet)と呼ばれる新しい物体検出器を構築した。
  論文  参考訳（メタデータ） (2024-01-19T14:49:42Z)
• Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification [75.87443138635432]
  既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。 本稿では,周波数領域情報を対象とした周波数領域Nuances Mining(FDNM)手法を提案する。 本手法は,SYSU-MM01データセットにおいて,Ran-1精度が5.2%,mAPが5.8%向上する。
  論文  参考訳（メタデータ） (2024-01-04T09:19:54Z)
• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• Hypergraph-Guided Disentangled Spectrum Transformer Networks for Near-Infrared Facial Expression Recognition [31.783671943393344]
  近赤外顔表情変換器(NFER-Former)を提案する。 NFER-Formerは、入力画像から表現情報とスペクトル情報を切り離して、スペクトル変動の干渉なく表現特徴を抽出する。 我々は、NFER-Formerの効率をよりよく評価するために、360個の被験者を含む大規模なNIR-VIS顔表現データセットを構築した。
  論文  参考訳（メタデータ） (2023-12-10T15:15:50Z)
• Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infrared Person Re-identification [26.71900654115498]
  多様な埋め込み拡張ネットワーク(DEEN)と呼ばれる,埋め込み空間における新たな拡張ネットワークを提案する。 提案したDEENは,多種多様な埋め込みを効果的に生成し,情報的特徴表現を学習する。 9RGB/IRカメラでキャプチャされた1,064個の識別された46,767個のバウンディングボックスを含む低照度クロスモダリティ(LLCM)データセットを提供する。
  論文  参考訳（メタデータ） (2023-03-25T14:24:56Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
  クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。 特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
  論文  参考訳（メタデータ） (2021-02-24T08:57:32Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)
• Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
  ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。 我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。 私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
  論文  参考訳（メタデータ） (2020-03-05T05:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。