論文の概要: Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification

• arxiv url: http://arxiv.org/abs/2401.02162v2
• Date: Wed, 10 Jan 2024 01:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:32:55.955043
• Title: Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification
• Title（参考訳）: 可視赤外人物再識別のための周波数領域ニュアンスマイニング
• Authors: Yukang Zhang, Yang Lu, Yan Yan, Hanzi Wang, Xuelong Li
• Abstract要約: 既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。 本稿では,周波数領域情報を対象とした周波数領域Nuances Mining(FDNM)手法を提案する。 本手法は,SYSU-MM01データセットにおいて,Ran-1精度が5.2%,mAPが5.8%向上する。
• 参考スコア（独自算出の注目度）: 75.87443138635432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key of visible-infrared person re-identification (VIReID) lies in how to minimize the modality discrepancy between visible and infrared images. Existing methods mainly exploit the spatial information while ignoring the discriminative frequency information. To address this issue, this paper aims to reduce the modality discrepancy from the frequency domain perspective. Specifically, we propose a novel Frequency Domain Nuances Mining (FDNM) method to explore the cross-modality frequency domain information, which mainly includes an amplitude guided phase (AGP) module and an amplitude nuances mining (ANM) module. These two modules are mutually beneficial to jointly explore frequency domain visible-infrared nuances, thereby effectively reducing the modality discrepancy in the frequency domain. Besides, we propose a center-guided nuances mining loss to encourage the ANM module to preserve discriminative identity information while discovering diverse cross-modality nuances. Extensive experiments show that the proposed FDNM has significant advantages in improving the performance of VIReID. Specifically, our method outperforms the second-best method by 5.2\% in Rank-1 accuracy and 5.8\% in mAP on the SYSU-MM01 dataset under the indoor search mode, respectively. Besides, we also validate the effectiveness and generalization of our method on the challenging visible-infrared face recognition task. \textcolor{magenta}{The code will be available.}
• Abstract（参考訳）: 可視赤外人物再識別(VIReID)の鍵は、可視画像と赤外線画像の偏差を最小限にする方法にある。 既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。 この問題に対処するため,周波数領域から見たモダリティの差を低減することを目的とした。 具体的には、振幅誘導位相(AGP)モジュールと振幅ニュアンスマイニング(ANM)モジュールを主成分とする、周波数領域の周波数領域情報を探索する新しい周波数領域ニュアンスマイニング(FDNM)手法を提案する。 これらの2つのモジュールは、周波数領域の可視赤外ニュアンスを共同で探索することで、周波数領域におけるモダリティの差を効果的に低減する。 さらに,ANMモジュールの識別的アイデンティティ情報を保護し,多種多様なモダリティニュアンスを発見できるように,中心誘導型ニュアンスマイニング損失を提案する。 広汎な実験により,提案するFDNMは,VIReIDの性能向上に有益であることがわかった。 具体的には,室内探索モード下でのSYSU-MM01データセットにおいて,Ran-1精度が5.2 %,mAPが5.8 %向上した。 さらに,難易度の高い視覚・赤外線顔認識タスクにおいて,本手法の有効性と一般化を検証した。 \textcolor{magenta}{ コードは利用可能になる。 }

関連論文リスト

• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle Re-identification [29.48387524901101]
  厳しい環境下では、RGBとNIRモダリティの非ネイティブな手がかりは、車両のランプや日光からの強いフレアによってしばしば失われる。 フレア崩壊したRGBとNIRの特徴をフレア免疫熱赤外スペクトルから誘導して適応的に復元するフレア・アウェア・クロスモーダル・エンハンスメント・ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:04:24Z)
• Visible-Infrared Person Re-Identification Using Privileged Intermediate Information [10.816003787786766]
  クロスモーダルな人物再識別(ReID)は、RGBとIRモダリティ間のデータ分散の大きなドメインシフトのために困難である。 本稿では2つのメインドメイン間のブリッジとして機能する中間仮想ドメインを作成するための新しいアプローチを提案する。 我々は、深いReIDモデルをトレーニングするための追加情報を提供する、可視領域と赤外線領域間の画像を生成する新しい手法を考案した。
  論文  参考訳（メタデータ） (2022-09-19T21:08:14Z)
• CycleTrans: Learning Neutral yet Discriminative Features for Visible-Infrared Person Re-Identification [79.84912525821255]
  Visible-infrared person re-identification (VI-ReID) は、可視・赤外線モダリティ間で同一人物をマッチングするタスクである。 既存のVI-ReID手法は主に、特徴識別性を犠牲にして、モダリティを越えて一般的な特徴を学習することに焦点を当てている。 ニュートラルかつ差別的な特徴学習のための新しいサイクル構築型ネットワークであるCycleTransを提案する。
  論文  参考訳（メタデータ） (2022-08-21T08:41:40Z)
• Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario [87.72258480670627]
  既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。 本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
  論文  参考訳（メタデータ） (2022-07-05T09:27:53Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。