論文の概要: Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification

• arxiv url: http://arxiv.org/abs/2401.01839v2
• Date: Thu, 4 Jan 2024 03:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 12:26:25.851911
• Title: Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification
• Title（参考訳）: 可視赤外人物再同定のための周波数領域モーダリティ不変特徴学習
• Authors: Yulin Li, Tianzhu Zhang, Yongdong Zhang
• Abstract要約: 本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
• 参考スコア（独自算出の注目度）: 79.9402521412239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-infrared person re-identification (VI-ReID) is challenging due to the significant cross-modality discrepancies between visible and infrared images. While existing methods have focused on designing complex network architectures or using metric learning constraints to learn modality-invariant features, they often overlook which specific component of the image causes the modality discrepancy problem. In this paper, we first reveal that the difference in the amplitude component of visible and infrared images is the primary factor that causes the modality discrepancy and further propose a novel Frequency Domain modality-invariant feature learning framework (FDMNet) to reduce modality discrepancy from the frequency domain perspective. Our framework introduces two novel modules, namely the Instance-Adaptive Amplitude Filter (IAF) module and the Phrase-Preserving Normalization (PPNorm) module, to enhance the modality-invariant amplitude component and suppress the modality-specific component at both the image- and feature-levels. Extensive experimental results on two standard benchmarks, SYSU-MM01 and RegDB, demonstrate the superior performance of our FDMNet against state-of-the-art methods.
• Abstract（参考訳）: 可視的赤外線人物再識別(VI-ReID)は、可視像と赤外線像との相違により困難である。 既存の手法では、複雑なネットワークアーキテクチャの設計や、モダリティ不変な特徴を学ぶためのメトリック学習の制約に焦点が当てられているが、画像のどの特定の要素がモダリティの不一致の原因かをしばしば見落としている。 本稿では,まず,可視画像と赤外線画像の振幅成分の差がモダリティ不一致の原因となる主要な要因であることを明らかにし,さらに,周波数領域の観点からのモダリティ不一致を低減するための新しい周波数領域モダリティ不変特徴学習フレームワーク(fdmnet)を提案する。 本フレームワークでは,適応振幅フィルタ(IAF)モジュールとPhrase-Preserving Normalization(PPNorm)モジュールという2つの新しいモジュールを導入し,モダリティ不変振幅成分の強化と,画像レベルと特徴レベルの両方においてモダリティ固有成分の抑制を行う。 SYSU-MM01とRegDBの2つの標準ベンチマークによる大規模な実験結果から、FDMNetの最先端手法に対する優れた性能を示す。

関連論文リスト

• Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification [75.87443138635432]
  既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。 本稿では,周波数領域情報を対象とした周波数領域Nuances Mining(FDNM)手法を提案する。 本手法は,SYSU-MM01データセットにおいて,Ran-1精度が5.2%,mAPが5.8%向上する。
  論文  参考訳（メタデータ） (2024-01-04T09:19:54Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• MRCN: A Novel Modality Restitution and Compensation Network for Visible-Infrared Person Re-identification [36.88929785476334]
  本稿では,2つのモダリティ間のギャップを狭めるために,新しいモダリティ再構成補償ネットワーク(MRCN)を提案する。 この手法はRanc-1の95.1%とRegDBデータセットのmAPの89.2%を達成している。
  論文  参考訳（メタデータ） (2023-03-26T05:03:18Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification [84.32086702849338]
  RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。 MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。 2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-03T14:26:49Z)
• SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
  クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。 特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
  論文  参考訳（メタデータ） (2021-02-24T08:57:32Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。