論文の概要: Image Re-Identification: Where Self-supervision Meets Vision-Language Learning
- arxiv url: http://arxiv.org/abs/2407.20647v1
- Date: Tue, 30 Jul 2024 08:43:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 17:59:37.426336
- Title: Image Re-Identification: Where Self-supervision Meets Vision-Language Learning
- Title（参考訳）: Image Re-Identification:Self-supervisionがビジョンランゲージ学習と出会う
- Authors: Bin Wang, Yuying Liang, Lei Cai, Huakun Huang, Huanqiang Zeng,
- Abstract要約: SVLL-ReIDは,イメージReIDを容易にするための2つの訓練段階を経て,自己スーパービジョンと事前訓練されたCLIPを統合する最初の試みである。
1)第1の訓練段階に言語自己監督を組み込むことで、学習可能なテキストのプロンプトをより識別しやすくし、2)第2の訓練段階に視覚自己監督を組み込むことで、画像エンコーダが学習した画像特徴をより識別しやすくすることができる。
- 参考スコア（独自算出の注目度）: 26.461032542501357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, large-scale vision-language pre-trained models like CLIP have shown impressive performance in image re-identification (ReID). In this work, we explore whether self-supervision can aid in the use of CLIP for image ReID tasks. Specifically, we propose SVLL-ReID, the first attempt to integrate self-supervision and pre-trained CLIP via two training stages to facilitate the image ReID. We observe that: 1) incorporating language self-supervision in the first training stage can make the learnable text prompts more distinguishable, and 2) incorporating vision self-supervision in the second training stage can make the image features learned by the image encoder more discriminative. These observations imply that: 1) the text prompt learning in the first stage can benefit from the language self-supervision, and 2) the image feature learning in the second stage can benefit from the vision self-supervision. These benefits jointly facilitate the performance gain of the proposed SVLL-ReID. By conducting experiments on six image ReID benchmark datasets without any concrete text labels, we find that the proposed SVLL-ReID achieves the overall best performances compared with state-of-the-arts. Codes will be publicly available at https://github.com/BinWangGzhu/SVLL-ReID.
- Abstract（参考訳）: 近年、CLIPのような大規模視覚言語事前訓練モデルでは、画像再識別(ReID)の性能が著しく向上している。
本研究では,画像ReIDタスクにCLIPを用いることで,自己監督が有効かどうかを検討する。
具体的には,SVLL-ReIDを提案する。SVLL-ReIDは,イメージReIDを促進するために,2つのトレーニング段階を経て,自己スーパービジョンと事前学習されたCLIPを統合する最初の試みである。
私たちはそれを観察します。
1)第1の訓練段階に言語自己監督を取り入れることで、学習可能なテキストのプロンプトをより区別しやすくすることができる。
2)第2の訓練段階に視覚自己監督を取り入れることで、画像エンコーダが学習した画像特徴をより差別的にすることができる。
これらの観察は以下のことを示唆している。
1)第1段階のテキスト・プロンプト学習は、言語自己監督の恩恵を受けることができる。
2)第2段階のイメージ特徴学習は,ビジョン・セルフ・スーパービジョンの恩恵を受けることができる。
これらの利点は、提案されたSVLL-ReIDの性能向上を共同で促進する。
具体的なテキストラベルを持たない6つの画像ReIDベンチマークデータセットで実験を行うことで,提案したSVLL-ReIDは,最先端技術と比較して総合的に最高の性能を達成できることがわかった。
コードはhttps://github.com/BinWangGzhu/SVLL-ReIDで公開される。
関連論文リスト
- CLIP-SCGI: Synthesized Caption-Guided Inversion for Person Re-Identification [9.996589403019675]
person re-identification (ReID) は Contrastive Language-Image Pre-Training (CLIP) のような大規模な事前訓練された視覚言語モデルの恩恵を受けている。
本稿では、既存の画像キャプションモデルを利用して人物画像の擬似キャプションを生成する方法を提案する。
CLIP-SCGI(CLIP-SCGI)は、合成キャプションを利用して、差別的・堅牢な表現の学習をガイドするフレームワークである。
論文 参考訳（メタデータ） (2024-10-12T06:24:33Z) - Composed Image Retrieval using Contrastive Learning and Task-oriented
CLIP-based Features [32.138956674478116]
参照画像と相対キャプションからなるクエリが与えられた場合、Composeed Image Retrievalの目的は、参照画像と視覚的に類似した画像を取得することである。
検討されたタスクに対処するために、OpenAI CLIPモデルの機能を使用します。
我々は、バイモーダル情報を統合することで、画像テキスト機能を組み合わせることを学ぶコンビネータネットワークを訓練する。
論文 参考訳（メタデータ） (2023-08-22T15:03:16Z) - Exploring Part-Informed Visual-Language Learning for Person
Re-Identification [40.725052076983516]
本稿では,視覚に基づく人物再識別作業において,部分的インフォームド言語による細粒度視覚的特徴の強化を提案する。
当社の$pi$-VLは、4つの一般的なReIDベンチマークで過去の最先端よりも大幅に改善されています。
論文 参考訳（メタデータ） (2023-08-04T23:13:49Z) - Planting a SEED of Vision in Large Language Model [73.17530130368053]
このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。
このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
論文 参考訳（メタデータ） (2023-07-16T13:41:39Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳（メタデータ） (2022-10-17T17:57:46Z) - Is a Caption Worth a Thousand Images? A Controlled Study for
Representation Learning [88.5382122413913]
本研究では,従来の画像のみの手法よりも伝達可能な表現を持つ視覚モデルが得られるかを検討した。
画像のみの手法は、より多くの画像データでトレーニングされた場合でも、CLIPの転送性能と一致しないことがわかった。
この結果から,CLIPが既存の事前学習データセットに存在する言語情報を活用できるように,シンプルな処方薬を考案した。
論文 参考訳（メタデータ） (2022-07-15T17:50:51Z) - Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。
近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。
本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
論文 参考訳（メタデータ） (2022-05-26T03:13:43Z) - BLIP: Bootstrapping Language-Image Pre-training for Unified
Vision-Language Understanding and Generation [86.4572981982407]
視覚言語理解と生成の両方に柔軟に伝達する新しい視覚言語フレームワークBLIPを提案する。
BLIPは、キャプタが合成キャプタを生成し、フィルタがノイズのあるキャプタを除去するキャプタをブートストラップすることで、ノイズの多いWebデータを効果的に活用する。
BLIPはまた、ゼロショット方式で直接ビデオ言語タスクに移行する際に、強力な一般化能力を示す。
論文 参考訳（メタデータ） (2022-01-28T12:49:48Z) - SLIP: Self-supervision meets Language-Image Pre-training [79.53764315471543]
自己指導型学習が視覚表現学習における言語指導の活用に役立つかどうかを考察する。
自己教師付き学習とCLIP事前学習を組み合わせたマルチタスク学習フレームワークSLIPを紹介する。
SLIPは、自己監督や言語監督よりも優れたパフォーマンスを享受しています。
論文 参考訳（メタデータ） (2021-12-23T18:07:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。