論文の概要: Multi-Memory Matching for Unsupervised Visible-Infrared Person
Re-Identification
- arxiv url: http://arxiv.org/abs/2401.06825v1
- Date: Fri, 12 Jan 2024 01:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 21:20:42.838923
- Title: Multi-Memory Matching for Unsupervised Visible-Infrared Person
Re-Identification
- Title（参考訳）: 教師なし可視赤外人物再同定のためのマルチメモリマッチング
- Authors: Jiangming Shi, Xiangbo Yin, Yeyun Chen, Yachao Zhang, Zhizhong Zhang,
Yuan Xie, Yanyun Qu
- Abstract要約: USL-VI-ReIDの主な課題は、擬似ラベルを効果的に生成し、擬似ラベル対応を確立することである。
我々はUSL-VI-ReIDのためのマルチメモリマッチングフレームワークを提案する。
公開SYSU-MM01とRegDBデータセットの実験は、確立された相互モダリティ対応の信頼性を示す。
- 参考スコア（独自算出の注目度）: 32.537029197752915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised visible-infrared person re-identification (USL-VI-ReID) is a
promising yet challenging retrieval task. The key challenges in USL-VI-ReID are
to effectively generate pseudo-labels and establish pseudo-label
correspondences across modalities without relying on any prior annotations.
Recently, clustered pseudo-label methods have gained more attention in
USL-VI-ReID. However, previous methods fell short of fully exploiting the
individual nuances, as they simply utilized a single memory that represented an
identity to establish cross-modality correspondences, resulting in ambiguous
cross-modality correspondences. To address the problem, we propose a
Multi-Memory Matching (MMM) framework for USL-VI-ReID. We first design a
Cross-Modality Clustering (CMC) module to generate the pseudo-labels through
clustering together both two modality samples. To associate cross-modality
clustered pseudo-labels, we design a Multi-Memory Learning and Matching (MMLM)
module, ensuring that optimization explicitly focuses on the nuances of
individual perspectives and establishes reliable cross-modality
correspondences. Finally, we design a Soft Cluster-level Alignment (SCA) module
to narrow the modality gap while mitigating the effect of noise pseudo-labels
through a soft many-to-many alignment strategy. Extensive experiments on the
public SYSU-MM01 and RegDB datasets demonstrate the reliability of the
established cross-modality correspondences and the effectiveness of our MMM.
The source codes will be released.
- Abstract（参考訳）: unsupervised visible-infrared person re-id(usl-vi-reid)は有望な検索タスクである。
USL-VI-ReIDの主な課題は、先行アノテーションに頼ることなく、擬似ラベルを効果的に生成し、モダリティ間で擬似ラベル対応を確立することである。
近年,USL-VI-ReIDではクラスタ化擬似ラベル法が注目されている。
しかし、それまでの手法では個々のニュアンスを完全に活用することはできず、同一性を表す単一のメモリを単に利用してクロスモダリティ対応を確立し、曖昧なクロスモダリティ対応を生み出した。
そこで本研究では,USL-VI-ReIDのためのMMMフレームワークを提案する。
まず,2つのモダリティサンプルをクラスタリングして擬似ラベルを生成するために,Cross-Modality Clustering (CMC) モジュールを設計する。
マルチメモリ・ラーニング・アンド・マッチング(MMLM)モジュールを設計し,各視点のニュアンスに明示的に焦点を合わせ,信頼性の高い相互モダリティ対応を確立する。
最後に,ソフトクラスタレベルのアライメント (SCA) モジュールを設計し,ソフトな多対多アライメント戦略によりノイズ擬似ラベルの効果を緩和しながら,モダリティギャップを狭める。
公開SYSU-MM01とRegDBデータセットの大規模な実験により、確立された相互モダリティ対応の信頼性とMMMの有効性が示された。
ソースコードはリリースされます。
関連論文リスト
- RoNID: New Intent Discovery with Generated-Reliable Labels and Cluster-friendly Representations [27.775731666470175]
New Intent Discovery (NID)は、オープンワールドシナリオにおける新しい意図グループを特定することを目的としている。
現在の手法は、不正確な擬似ラベルと表現学習に問題がある。
本稿では,EMスタイルの手法により最適化されたロバスト・ニューインテント・ディスカバリー・フレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-13T11:58:28Z) - Exploring Homogeneous and Heterogeneous Consistent Label Associations
for Unsupervised Visible-Infrared Person ReID [62.81466902601807]
教師なし可視赤外人物再識別(USL-VI-ReID)は、アノテーションなしで異なるモードから同一人物の歩行者画像を取得することを目的としている。
均質かつ不均一なインスタンスレベルの構造を同時に説明できるModality-Unified Label Transfer (MULT) モジュールを導入する。
等質なアフィニティと異質なアフィニティの両方をモデル化し、それらを利用して擬似ラベルの不整合を定義し、最小化する。
論文 参考訳（メタデータ） (2024-02-01T15:33:17Z) - CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly
Supervised Text-based Person Re-Identification [10.64115914599574]
弱教師付きテキストベース人物識別(TPRe-ID)は、テキスト記述を用いて対象人物の画像の検索を試みる。
主な課題はクラス内の違いであり、モーダル内特徴のバリエーションとモーダル間のセマンティックギャップを含んでいる。
実際には、CPCLはCLIPモデルを初めて弱教師付きTPRe-IDに導入し、ビジュアルインスタンスとテキストインスタンスを共有潜在空間にマッピングする。
論文 参考訳（メタデータ） (2024-01-18T14:27:01Z) - Unsupervised Visible-Infrared Person ReID by Collaborative Learning with
Neighbor-Guided Label Refinement [56.2070066714042]
教師なし学習 可視赤外人物再識別 (USL-VI-ReID) は、ラベルなしのクロスモダリティデータセットからモダリティ不変の特徴を学習することを目的としている。
本稿では,生成したラベルを1つのモダリティからそれに対応するモダリティに同時に割り当てる,Dual Optimal Transport Label Assignment (DOTLA) フレームワークを提案する。
提案したDOTLA機構は、相互強化と相互モダリティデータアソシエーションの効率的な解を定式化することにより、不十分でノイズの多いラベルアソシエーションの副作用を効果的に低減することができる。
論文 参考訳（メタデータ） (2023-05-22T04:40:30Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-22T03:27:46Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳（メタデータ） (2022-09-27T19:04:36Z) - Meta Clustering Learning for Large-scale Unsupervised Person
Re-identification [124.54749810371986]
メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。
MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。
提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
論文 参考訳（メタデータ） (2021-11-19T04:10:18Z) - Dual-Refinement: Joint Label and Feature Refinement for Unsupervised
Domain Adaptive Person Re-Identification [51.98150752331922]
Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。
オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。
本手法は最先端手法を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2020-12-26T07:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。