論文の概要: CycleTrans: Learning Neutral yet Discriminative Features for
Visible-Infrared Person Re-Identification
- arxiv url: http://arxiv.org/abs/2208.09844v1
- Date: Sun, 21 Aug 2022 08:41:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 13:22:49.840371
- Title: CycleTrans: Learning Neutral yet Discriminative Features for
Visible-Infrared Person Re-Identification
- Title(参考訳): cycletrans:可視赤外人物再同定のための中立的かつ差別的特徴の学習
- Authors: Qiong Wu, Jiaer Xia, Pingyang Dai, Yiyi Zhou, Yongjian Wu, Rongrong Ji
- Abstract要約: Visible-infrared person re-identification (VI-ReID) は、可視・赤外線モダリティ間で同一人物をマッチングするタスクである。
既存のVI-ReID手法は主に、特徴識別性を犠牲にして、モダリティを越えて一般的な特徴を学習することに焦点を当てている。
ニュートラルかつ差別的な特徴学習のための新しいサイクル構築型ネットワークであるCycleTransを提案する。
- 参考スコア(独自算出の注目度): 79.84912525821255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visible-infrared person re-identification (VI-ReID) is a task of matching the
same individuals across the visible and infrared modalities. Its main challenge
lies in the modality gap caused by cameras operating on different spectra.
Existing VI-ReID methods mainly focus on learning general features across
modalities, often at the expense of feature discriminability. To address this
issue, we present a novel cycle-construction-based network for neutral yet
discriminative feature learning, termed CycleTrans. Specifically, CycleTrans
uses a lightweight Knowledge Capturing Module (KCM) to capture rich semantics
from the modality-relevant feature maps according to pseudo queries.
Afterwards, a Discrepancy Modeling Module (DMM) is deployed to transform these
features into neutral ones according to the modality-irrelevant prototypes. To
ensure feature discriminability, another two KCMs are further deployed for
feature cycle constructions. With cycle construction, our method can learn
effective neutral features for visible and infrared images while preserving
their salient semantics. Extensive experiments on SYSU-MM01 and RegDB datasets
validate the merits of CycleTrans against a flurry of state-of-the-art methods,
+4.57% on rank-1 in SYSU-MM01 and +2.2% on rank-1 in RegDB.
- Abstract(参考訳): Visible-infrared person re-identification (VI-ReID) は、可視・赤外線モダリティ間で同一人物をマッチングするタスクである。
主な課題は、異なるスペクトルで動作するカメラによって生じるモダリティギャップである。
既存のVI-ReID手法は主に、特徴識別性を犠牲にして、モダリティを越えて一般的な特徴を学習することに焦点を当てている。
そこで本研究では,ニュートラルかつ識別的特徴学習のための新しいサイクル構築型ネットワークであるcycletransを提案する。
具体的には、CycleTransは軽量なKCM(Knowledge Capturing Module)を使用して、擬似クエリに従ってモダリティ関連機能マップからリッチなセマンティクスをキャプチャする。
その後、DMM(Disdisrepancy Modeling Module)が展開され、これらの特徴をモダリティ非関連プロトタイプに従って中立的なものに変換する。
特徴の識別性を確保するため、さらに2つのKCMが機能サイクル構築のためにデプロイされる。
サイクル構成により,本手法は可視・近赤外画像に対して有効な中性特徴を学習し,その有能な意味を保存できる。
SYSU-MM01とRegDBデータセットの大規模な実験は、CycleTransの利点を最先端の手法の流行に対して検証し、SYSU-MM01のランク1では+4.57%、RegDBのランク1では+2.2%である。
関連論文リスト
- Prototype-Driven Multi-Feature Generation for Visible-Infrared Person Re-identification [11.664820595258988]
可視的(視覚)画像と赤外線(赤外線)画像の違いから、可視的(赤外線)人物の再識別における主な課題が生じる。
既存の手法は、しばしば水平分割に頼って部分レベルの特徴を整列させ、不正確性を導入する。
クロスモーダルな相違を緩和することを目的としたPDM(Prototype-Driven Multi-Feature Generation framework)を提案する。
論文 参考訳(メタデータ) (2024-09-09T14:12:23Z) - Dynamic Identity-Guided Attention Network for Visible-Infrared Person Re-identification [17.285526655788274]
Visible-infrared person re-identification (VI-ReID) は、可視光と赤外線の同一性を持つ人物をマッチングすることを目的としている。
既存の方法は一般的に、画像や特徴レベルでのクロスモーダルな違いを橋渡ししようとする。
我々は、動的ID誘導型注意ネットワーク(DIAN)を導入し、アイデンティティ誘導型およびモダリティ一貫性のある埋め込みをマイニングする。
論文 参考訳(メタデータ) (2024-05-21T12:04:56Z) - Unsupervised Visible-Infrared ReID via Pseudo-label Correction and Modality-level Alignment [23.310509459311046]
UVI-ReID (unsupervised visible-infrared person re-identification) が近年注目されている。
従来手法では, UVI-ReIDを実現するためにモダリティ内クラスタリングとクロスモダリティ特徴マッチングが用いられていた。
論文 参考訳(メタデータ) (2024-04-10T02:03:14Z) - Frequency Domain Nuances Mining for Visible-Infrared Person
Re-identification [75.87443138635432]
既存の手法は主に、識別周波数情報を無視しながら空間情報を利用する。
本稿では,周波数領域情報を対象とした周波数領域Nuances Mining(FDNM)手法を提案する。
本手法は,SYSU-MM01データセットにおいて,Ran-1精度が5.2%,mAPが5.8%向上する。
論文 参考訳(メタデータ) (2024-01-04T09:19:54Z) - Frequency Domain Modality-invariant Feature Learning for
Visible-infrared Person Re-Identification [79.9402521412239]
本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。
我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
論文 参考訳(メタデータ) (2024-01-03T17:11:27Z) - Exploring Invariant Representation for Visible-Infrared Person
Re-Identification [77.06940947765406]
異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。
本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。
RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
論文 参考訳(メタデータ) (2023-02-02T05:24:50Z) - On Exploring Pose Estimation as an Auxiliary Learning Task for
Visible-Infrared Person Re-identification [66.58450185833479]
本稿では,Pose Estimationを補助学習タスクとして活用して,エンドツーエンドフレームワークにおけるVI-ReIDタスクを支援する。
これら2つのタスクを相互に有利な方法で共同でトレーニングすることにより、高品質なモダリティ共有とID関連の特徴を学習する。
2つのベンチマークVI-ReIDデータセットの実験結果から,提案手法は一定のマージンで最先端の手法を継続的に改善することが示された。
論文 参考訳(メタデータ) (2022-01-11T09:44:00Z) - CMTR: Cross-modality Transformer for Visible-infrared Person
Re-identification [38.96033760300123]
可視赤外人物再識別のための相互モダリティトランスフォーマー法(CMTR)
我々は,モダリティの情報をエンコードするために,トークン埋め込みと融合した新しいモダリティ埋め込みを設計する。
提案するCMTRモデルの性能は,既存のCNN方式をはるかに上回っている。
論文 参考訳(メタデータ) (2021-10-18T03:12:59Z) - SFANet: A Spectrum-aware Feature Augmentation Network for
Visible-Infrared Person Re-Identification [12.566284647658053]
クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。
grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。
特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
論文 参考訳(メタデータ) (2021-02-24T08:57:32Z) - Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person
Re-Identification [208.1227090864602]
Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。
既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。
そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
論文 参考訳(メタデータ) (2020-07-18T03:08:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。