論文の概要: Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID
- arxiv url: http://arxiv.org/abs/2305.12673v3
- Date: Sat, 25 May 2024 14:14:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 12:38:03.877604
- Title: Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID
- Title（参考訳）: 教師なし可視光赤外人物ReIDのための効果的な双方向クロスモーダルクラスタマッチング
- Authors: De Cheng, Lingfeng He, Nannan Wang, Shizhou Zhang, Zhen Wang, Xinbo Gao,
- Abstract要約: 本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
- 参考スコア（独自算出の注目度）: 56.573905143954015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised visible-infrared person re-identification (USL-VI-ReID) aims to match pedestrian images of the same identity from different modalities without annotations. Existing works mainly focus on alleviating the modality gap by aligning instance-level features of the unlabeled samples. However, the relationships between cross-modality clusters are not well explored. To this end, we propose a novel bilateral cluster matching-based learning framework to reduce the modality gap by matching cross-modality clusters. Specifically, we design a Many-to-many Bilateral Cross-Modality Cluster Matching (MBCCM) algorithm through optimizing the maximum matching problem in a bipartite graph. Then, the matched pairwise clusters utilize shared visible and infrared pseudo-labels during the model training. Under such a supervisory signal, a Modality-Specific and Modality-Agnostic (MSMA) contrastive learning framework is proposed to align features jointly at a cluster-level. Meanwhile, the cross-modality Consistency Constraint (CC) is proposed to explicitly reduce the large modality discrepancy. Extensive experiments on the public SYSU-MM01 and RegDB datasets demonstrate the effectiveness of the proposed method, surpassing state-of-the-art approaches by a large margin of 8.76% mAP on average.
- Abstract（参考訳）: 教師なし可視赤外人物再識別(USL-VI-ReID)は、異なるモダリティから同一人物の歩行者像をアノテーションなしでマッチングすることを目的としている。
既存の研究は主に、未ラベルサンプルのインスタンスレベルの特徴を調整することで、モダリティギャップを軽減することに重点を置いている。
しかし、モダリティクラスタ間の関係はよく調べられていない。
そこで本研究では, クラスタ間マッチングによるモダリティギャップを低減するための, 双方向クラスタマッチングに基づく新たな学習フレームワークを提案する。
具体的には、二部グラフの最大マッチング問題を最適化し、多対多の双方向クロスモーダルクラスタマッチング(MBCCM)アルゴリズムを設計する。
そして、マッチングされたペアワイズクラスタは、モデルトレーニング中に共有された可視光と赤外線の擬似ラベルを利用する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
一方, クロスモーダル一貫性制約 (CC) は, 大きなモダリティの相違を明示的に低減するために提案されている。
SYSU-MM01とRegDBデータセットの大規模な実験は、提案手法の有効性を実証し、最先端の手法を平均8.76%のマージンで上回った。
関連論文リスト
- Unsupervised Visible-Infrared ReID via Pseudo-label Correction and Modality-level Alignment [23.310509459311046]
UVI-ReID (unsupervised visible-infrared person re-identification) が近年注目されている。
従来手法では, UVI-ReIDを実現するためにモダリティ内クラスタリングとクロスモダリティ特徴マッチングが用いられていた。
論文 参考訳（メタデータ） (2024-04-10T02:03:14Z) - Exploring Homogeneous and Heterogeneous Consistent Label Associations
for Unsupervised Visible-Infrared Person ReID [62.81466902601807]
教師なし可視赤外人物再識別(USL-VI-ReID)は、アノテーションなしで異なるモードから同一人物の歩行者画像を取得することを目的としている。
均質かつ不均一なインスタンスレベルの構造を同時に説明できるModality-Unified Label Transfer (MULT) モジュールを導入する。
等質なアフィニティと異質なアフィニティの両方をモデル化し、それらを利用して擬似ラベルの不整合を定義し、最小化する。
論文 参考訳（メタデータ） (2024-02-01T15:33:17Z) - Multi-Memory Matching for Unsupervised Visible-Infrared Person Re-Identification [30.983346937558743]
USL-VI-ReIDの主な課題は、擬似ラベルを効果的に生成し、擬似ラベル対応を確立することである。
我々はUSL-VI-ReIDのためのマルチメモリマッチングフレームワークを提案する。
公開SYSU-MM01とRegDBデータセットの実験は、確立された相互モダリティ対応の信頼性を示す。
論文 参考訳（メタデータ） (2024-01-12T01:24:04Z) - Unsupervised Visible-Infrared Person ReID by Collaborative Learning with Neighbor-Guided Label Refinement [53.044703127757295]
教師なし学習 可視赤外人物再識別 (USL-VI-ReID) は、ラベルなしのクロスモダリティデータセットからモダリティ不変の特徴を学習することを目的としている。
本稿では,生成したラベルを1つのモダリティからそれに対応するモダリティに同時に割り当てる,Dual Optimal Transport Label Assignment (DOTLA) フレームワークを提案する。
提案したDOTLA機構は、相互強化と相互モダリティデータアソシエーションの効率的な解を定式化することにより、不十分でノイズの多いラベルアソシエーションの副作用を効果的に低減することができる。
論文 参考訳（メタデータ） (2023-05-22T04:40:30Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳（メタデータ） (2022-09-27T19:04:36Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Hybrid Contrastive Learning with Cluster Ensemble for Unsupervised
Person Re-identification [8.345677436382193]
教師なしのReIDに対して,Hybrid Contrastive Learning (HCL) アプローチを提案する。
また,Multi-Granularity Clustering Ensembleに基づくHybrid Contrastive Learning (MGCE-HCL)アプローチを提案する。
論文 参考訳（メタデータ） (2022-01-28T09:15:20Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Mind Your Clever Neighbours: Unsupervised Person Re-identification via
Adaptive Clustering Relationship Modeling [19.532602887109668]
教師なし人物再識別(Re-ID)は、教師付きRe-IDモデルのスケーラビリティ問題を解決する可能性から注目されている。
既存の教師なし手法の多くは反復的なクラスタリング機構を採用しており、教師なしクラスタリングによって生成された擬似ラベルに基づいてネットワークを訓練している。
高品質な擬似ラベルを生成し,クラスタリングエラーの影響を軽減するために,教師なしのRe-IDのための新しいクラスタリング関係モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-03T10:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。