論文の概要: MRCN: A Novel Modality Restitution and Compensation Network for Visible-Infrared Person Re-identification

• arxiv url: http://arxiv.org/abs/2303.14626v1
• Date: Sun, 26 Mar 2023 05:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 18:28:39.571017
• Title: MRCN: A Novel Modality Restitution and Compensation Network for Visible-Infrared Person Re-identification
• Title（参考訳）: mrcn:可視赤外人物再同定のための新しいモダリティ復元・補償ネットワーク
• Authors: Yukang Zhang, Yan Yan, Jie Li, Hanzi Wang
• Abstract要約: 本稿では,2つのモダリティ間のギャップを狭めるために,新しいモダリティ再構成補償ネットワーク(MRCN)を提案する。 この手法はRanc-1の95.1%とRegDBデータセットのmAPの89.2%を達成している。
• 参考スコア（独自算出の注目度）: 36.88929785476334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-infrared person re-identification (VI-ReID), which aims to search identities across different spectra, is a challenging task due to large cross-modality discrepancy between visible and infrared images. The key to reduce the discrepancy is to filter out identity-irrelevant interference and effectively learn modality-invariant person representations. In this paper, we propose a novel Modality Restitution and Compensation Network (MRCN) to narrow the gap between the two modalities. Specifically, we first reduce the modality discrepancy by using two Instance Normalization (IN) layers. Next, to reduce the influence of IN layers on removing discriminative information and to reduce modality differences, we propose a Modality Restitution Module (MRM) and a Modality Compensation Module (MCM) to respectively distill modality-irrelevant and modality-relevant features from the removed information. Then, the modality-irrelevant features are used to restitute to the normalized visible and infrared features, while the modality-relevant features are used to compensate for the features of the other modality. Furthermore, to better disentangle the modality-relevant features and the modality-irrelevant features, we propose a novel Center-Quadruplet Causal (CQC) loss to encourage the network to effectively learn the modality-relevant features and the modality-irrelevant features. Extensive experiments are conducted to validate the superiority of our method on the challenging SYSU-MM01 and RegDB datasets. More remarkably, our method achieves 95.1% in terms of Rank-1 and 89.2% in terms of mAP on the RegDB dataset.
• Abstract（参考訳）: 可視的赤外線人物再識別 (VI-ReID) は, 可視像と赤外線像の相互差が大きいため, 異なるスペクトルをまたいで識別を探索することを目的とした課題である。 矛盾を減らす鍵は、アイデンティティ非関連な干渉をフィルタリングし、モダリティ不変の人物表現を効果的に学習することである。 本稿では,2つのモダリティ間のギャップを狭めるために,新しいモダリティ再構成補償ネットワーク(MRCN)を提案する。 具体的には、まず2つのインスタンス正規化(IN)層を用いてモダリティの差を小さくする。 次に, 識別情報除去におけるIN層の影響を低減し, モダリティの相違を低減するため, モダリティ再生モジュール (MRM) とモダリティ補償モジュール (MCM) を提案し, 除去情報からモダリティ関連特徴とモダリティ関連特徴をそれぞれ抽出する。 次に、モダリティ関連特徴は正規化された可視および赤外線の特徴に回帰するために使用され、モダリティ関連特徴は他のモダリティの特徴を補うために使用される。 さらに, モダリティ関連特徴とモダリティ関連特徴をより適切に分離するために, ネットワークがモダリティ関連特徴とモダリティ関連特徴を効果的に学習できるよう, 新たなCQC(Central-Quadruplet Causal)損失を提案する。 SYSU-MM01およびRegDBデータセットに対する本手法の優位性を検証するため,大規模な実験を行った。 より顕著に、我々の手法はRanc-1の95.1%、RegDBデータセットのmAPの89.2%を達成している。

関連論文リスト

• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification [43.05147831905626]
  本稿では,トランスファーリング・モダリティを意識した歩行者注意学習(TMPA)モデルを提案する。 TMPAは、欠落したモダリティ固有の特徴を効率的に補うために歩行者地域に焦点を当てている。 ベンチマークSYSU-MM01とRegDBデータセットを用いて実験を行い,提案したTMPAモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-12T07:15:17Z)
• Modality Unifying Network for Visible-Infrared Person Re-Identification [24.186989535051623]
  Visible-infrared person re-identification (VI-ReID) は、異種間の大きな相違とクラス内変異のために難しい課題である。 既存の手法は主に、異なるモダリティを同じ特徴空間に埋め込むことで、モダリティ共有表現を学習することに焦点を当てている。 そこで我々は,VI-ReID の頑健な補助モダリティを探索するために,新しいモダリティ統一ネットワーク (MUN) を提案する。
  論文  参考訳（メタデータ） (2023-09-12T14:22:22Z)
• Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
  Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。 既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。 本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-08-29T06:55:42Z)
• Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification [27.75907274034702]
  我々は,能率VI-ReIDのためのPMT(Progressive Modality-Shared Transformer)という新しいディープラーニングフレームワークを提案する。 モダリティギャップの負の効果を低減するために、まず、グレースケールの画像を補助的なモダリティとして捉え、進歩的な学習戦略を提案する。 クラス内差が大きく,クラス間差が少ない問題に対処するために,識別中心損失を提案する。
  論文  参考訳（メタデータ） (2022-12-01T02:20:16Z)
• Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification [84.32086702849338]
  RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。 MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。 2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-03T14:26:49Z)
• On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification [66.58450185833479]
  本稿では,Pose Estimationを補助学習タスクとして活用して,エンドツーエンドフレームワークにおけるVI-ReIDタスクを支援する。 これら2つのタスクを相互に有利な方法で共同でトレーニングすることにより、高品質なモダリティ共有とID関連の特徴を学習する。 2つのベンチマークVI-ReIDデータセットの実験結果から,提案手法は一定のマージンで最先端の手法を継続的に改善することが示された。
  論文  参考訳（メタデータ） (2022-01-11T09:44:00Z)
• MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared Person Re-Identification [35.97494894205023]
  RGB-infrared cross-modality person re-identification (ReID) タスクは、可視モダリティと赤外線モダリティの同一性の画像を認識することを目的としている。 既存の手法は主に2ストリームアーキテクチャを使用して、最終的な共通特徴空間における2つのモード間の相違を取り除く。 単一モダリティ空間と共通空間の両方において、モダリティ調和可能な特徴を学習できる新しい多機能空間共同最適化(MSO)ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T16:45:23Z)
• CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification [38.96033760300123]
  可視赤外人物再識別のための相互モダリティトランスフォーマー法(CMTR) 我々は,モダリティの情報をエンコードするために,トークン埋め込みと融合した新しいモダリティ埋め込みを設計する。 提案するCMTRモデルの性能は,既存のCNN方式をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-10-18T03:12:59Z)
• Exploring Modality-shared Appearance Features and Modality-invariant Relation Features for Cross-modality Person Re-Identification [72.95858515157603]
  クロスモダリティの人物再識別作業は、識別モダリティ共有機能に依存する。 初期の成功にもかかわらず、このようなモダリティ共有の外観機能は十分なモダリティ不変情報をキャプチャできない。 クロスモダリティの変動をさらに低減するために、新しいクロスモダリティ四重極損失が提案される。
  論文  参考訳（メタデータ） (2021-04-23T11:14:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。