Generative Retrieval for Unsupervised Text-Based Person Search
Abstractの概要
本論文では、人手で注釈付けされた画像とテキストのペアを用いず、ラベルなしの人物画像のみに依存してモデル学習を行う教師なしテキストベース人物検索（TBPS）を研究しています。本稿は「生成してから検索する」2段階フレームワークであるGTR+を提案しています。第一段階として、基本属性の抽出、ハードネガティブを通じた詳細な特徴の洗練、文体的な多様性の拡充を行う3段階プロセスにより疑似テキスト記述を生成し、第二段階として、ノイズを含む生成テキストの影響を軽減する適応型信頼度重み付けスキームを用いて検索モデルを学習します。さらに、LUPersonおよびLPWから得られた120万枚の画像と360万件の自動生成記述からなる大規模事前学習データセット「LargeFine-Person」を導入しています。CUHK-PEDES、ICFG-PEDES、RSTPReidでの評価により、GTR+が既存の教師なしTBPS手法を上回り、LargeFine-Personで事前学習を行うことでさらなる性能向上が得られることが示されています。
新規性
主な新規性は、段階的な疑似テキスト生成（質問応答、サンプル間対比、文体拡張）と検索学習時における動的なGMM較正信頼度重み付けを統合した、2段階の生成的検索パイプラインとして教師なしTBPSを定式化した点にあります。また、詳細かつ文体的に多様な記述を提供する、注釈なしの360万ペアからなる事前学習リソース「LargeFine-Person」を導入した点も新規性として挙げられます。
成果
教師なし設定において、GTR+はCUHK-PEDESで61.35/55.75%、ICFG-PEDESで47.81/28.75%、RSTPReidで54.75/43.79%のRank-1/mAPスコアを記録し、SOTAの性能を達成しました。LargeFine-Personで事前学習を行った場合、これらの指標はそれぞれ64.65/58.67%、52.78/33.99%、55.70/43.86%へと向上しました。アブレーション実験により、各生成段階および適応型信頼度重み付けメカニズムが、ベースラインやマスキング戦略に対して測定可能な性能向上をもたらすことが確認されました。
論文の注目点
- GTR+は、視覚的属性のための自動Q&A機構、詳細な特徴のためのハードネガティブを用いたサンプル間対比機構、文の多様性のための文体拡張機構という3つの連続した段階を通じて合成人物記述を生成します。
- 検索学習段階では、リアルタイムの画像・テキスト類似度と事前テキスト生成確率を組み合わせた2成分ガウス混合モデル（GMM）を用い、学習中にノイズの多いペアの重みを適応的に低減させます。
- LargeFine-Personは120万枚のノイズ除去済み画像と360万組の生成画像・テキストペアを含んでおり、教師なしテキストベース人物検索のための効果的な事前学習ベンチマークを確立しています。