論文の概要: CLIP-Driven Cloth-Agnostic Feature Learning for Cloth-Changing Person Re-Identification

• arxiv url: http://arxiv.org/abs/2406.09198v1
• Date: Thu, 13 Jun 2024 14:56:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 17:14:49.383014
• Title: CLIP-Driven Cloth-Agnostic Feature Learning for Cloth-Changing Person Re-Identification
• Title（参考訳）: CLIP-Driven Cloth-Agnostic Feature Learning for Cloth-Changing Person Re-Identification
• Authors: Shuang Li, Jiaxu Leng, Guozhang Li, Ji Gan, Haosheng chen, Xinbo Gao,
• Abstract要約: 衣服交換者再識別のためのCLIP-Driven Cloth-Agnostic Feature Learning (CCAF) という新しいフレームワークを提案する。 Invariant Feature Prompting (IFP) と Clothes Feature Minimization (CFM) の2つのモジュールがカスタム設計されている。 提案したCCAFの有効性を実証し、いくつかのCC-ReIDベンチマークで新たな最先端性能を実現した。
• 参考スコア（独自算出の注目度）: 47.948622774810296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Language-Image Pre-Training (CLIP) has shown impressive performance in short-term Person Re-Identification (ReID) due to its ability to extract high-level semantic features of pedestrians, yet its direct application to Cloth-Changing Person Re-Identification (CC-ReID) faces challenges due to CLIP's image encoder overly focusing on clothes clues. To address this, we propose a novel framework called CLIP-Driven Cloth-Agnostic Feature Learning (CCAF) for CC-ReID. Accordingly, two modules were custom-designed: the Invariant Feature Prompting (IFP) and the Clothes Feature Minimization (CFM). These modules guide the model to extract cloth-agnostic features positively and attenuate clothes-related features negatively. Specifically, IFP is designed to extract fine-grained semantic features unrelated to clothes from the raw image, guided by the cloth-agnostic text prompts. This module first covers the clothes in the raw image at the pixel level to obtain the shielding image and then utilizes CLIP's knowledge to generate cloth-agnostic text prompts. Subsequently, it aligns the raw image-text and the raw image-shielding image in the feature space, emphasizing discriminative clues related to identity but unrelated to clothes. Furthermore, CFM is designed to examine and weaken the image encoder's ability to extract clothes features. It first generates text prompts corresponding to clothes pixels. Then, guided by these clothes text prompts, it iteratively examines and disentangles clothes features from pedestrian features, ultimately retaining inherent discriminative features. Extensive experiments have demonstrated the effectiveness of the proposed CCAF, achieving new state-of-the-art performance on several popular CC-ReID benchmarks without any additional inference time.
• Abstract（参考訳）: CLIP(Contrastive Language- Image Pre-Training)は、歩行者の高度な意味的特徴を抽出する能力により、短期的人物認識(ReID)において顕著な性能を示したが、CLIPのイメージエンコーダが衣服の手がかりに過度に焦点をあてることにより、その直接的応用は課題に直面している。 そこで我々は,CC-ReIDのためのCLIP-Driven Cloth-Agnostic Feature Learning (CCAF) という新しいフレームワークを提案する。 これにより、Invariant Feature Prompting (IFP) と Clothes Feature Minimization (CFM) の2つのモジュールがカスタム設計された。 これらのモジュールは, 衣服関連特徴を肯定的に抽出し, 衣服関連特徴を否定的に減少させる。 具体的には、IFPは、原画像から衣服とは無関係な細粒な意味的特徴を抽出し、布を含まないテキストプロンプトでガイドする。 このモジュールは、まず、ピクセルレベルの生画像の衣服をカバーし、遮蔽画像を取得し、次にCLIPの知識を利用して布を知らないテキストプロンプトを生成する。 その後、特徴空間における原画像テキストと原画像シールド画像とを整列させ、アイデンティティに関連する識別的手がかりを強調するが、衣服とは無関係である。 さらに、CFMは、衣料品の特徴を抽出する画像エンコーダの能力を検査し、弱めるように設計されている。 まず、衣服のピクセルに対応するテキストプロンプトを生成する。 そして、これらの衣服のテキストプロンプトに導かれ、歩行者の特徴から衣服の特徴を反復的に分析し、切り離し、最終的に固有の差別的特徴を保持する。 大規模な実験により提案されたCCAFの有効性が実証され、いくつかのCC-ReIDベンチマークで新たな最先端性能を実現した。

関連論文リスト

• Content and Salient Semantics Collaboration for Cloth-Changing Person Re-Identification [74.10897798660314]
  衣服を交換する人の再識別は、重複しないカメラで同じ人の衣服の変化を認識することを目的としている。 本稿では、並列間セマンティクスの相互作用と洗練を容易にするコンテンツ・サリアンセマンティクス協調フレームワークを提案する。 我々のフレームワークはシンプルだが有効であり、重要な設計はセマンティックス・マイニング・アンド・リファインメント(SMR)モジュールである。
  論文  参考訳（メタデータ） (2024-05-26T15:17:28Z)
• Identity-aware Dual-constraint Network for Cloth-Changing Person Re-identification [13.709863134725335]
  CC-ReID(CC-Changing Person Re-Identification)は、歩行者が着替えを行うより現実的な監視シナリオにおいて、対象者を正確に識別することを目的としている。 大きな進歩にもかかわらず、既存のCC-ReIDデータセットの限られた布質変化トレーニングサンプルは、モデルが布質非関連の特徴を適切に学習することを妨げている。 本稿では,CC-ReIDタスクのためのID-Aware Dual-Constraint Network (IDNet)を提案する。
  論文  参考訳（メタデータ） (2024-03-13T05:46:36Z)
• Masked Attribute Description Embedding for Cloth-Changing Person Re-identification [66.53045140286987]
  衣服交換者再識別(CC-ReID)は,長期にわたって衣服を交換する者をマッチングすることを目的としている。 CC-ReIDの鍵となる課題は、顔、髪型、体型、歩行など、衣服に依存しない特徴を抽出することである。 CC-ReIDの視覚的外観と属性記述を統一するMasked Attribute Description Embedding (MADE)法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T03:47:13Z)
• Semantic-aware Consistency Network for Cloth-changing Person Re-Identification [8.885551377703944]
  本稿ではセマンティック・アウェア・コンシスタンス・ネットワーク(SCNet)を紹介し,アイデンティティに関連するセマンティックな特徴を学習する。 衣服領域の画素を消去することにより,黒衣画像を生成する。 さらに、高レベルのアイデンティティ関連セマンティック特徴の学習を容易にするために、セマンティック一貫性損失を設計する。
  論文  参考訳（メタデータ） (2023-08-27T14:07:57Z)
• Exploring Fine-Grained Representation and Recomposition for Cloth-Changing Person Re-Identification [78.52704557647438]
  補助的なアノテーションやデータなしに両方の制約に対処するために,新しいFIne-fine Representation and Recomposition (FIRe$2$) フレームワークを提案する。 FIRe$2$は、広く使われている5つのRe-IDベンチマークで最先端のパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2023-08-21T12:59:48Z)
• Clothes-Invariant Feature Learning by Causal Intervention for Clothes-Changing Person Re-identification [118.23912884472794]
  衣服変化者再識別(CC-ReID)における衣服不変の特徴抽出の重要性 衣服と身元には強い相関関係があることを論じ, 衣服に関係のない特徴を抽出するために, 共通可能性に基づくReID法P(Y|X) を制限している。 衣服不変の特徴学習を実現するために,新しい因果的衣服不変学習法(CCIL)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T13:48:24Z)
• CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels [28.42405456691034]
  本稿では,画像再識別作業における視覚的表現の改善を目的とした2段階戦略を提案する。 鍵となるアイデアは、各IDの学習可能なテキストトークンセットを通じて、CLIPのクロスモーダル記述能力をフル活用することだ。 提案手法の有効性は、人や車両のReIDタスクのための複数のデータセット上で検証される。
  論文  参考訳（メタデータ） (2022-11-25T09:41:57Z)
• A Semantic-aware Attention and Visual Shielding Network for Cloth-changing Person Re-identification [29.026249268566303]
  衣服交換者再識別(ReID)は,衣服が変更された歩行者を回収することを目的とした,新たな研究課題である。 異なる服装の人間の外見は大きなバリエーションを示すため、差別的かつ堅牢な特徴表現を抽出する既存のアプローチは非常に困難である。 本研究は, 着替え型ReIDのための新しい意味認識・視覚遮蔽ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-18T05:38:37Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。