論文の概要: CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly Supervised Text-based Person Retrieval

• arxiv url: http://arxiv.org/abs/2401.10011v3
• Date: Mon, 18 Aug 2025 14:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:09.583322
• Title: CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly Supervised Text-based Person Retrieval
• Title（参考訳）: CPCL:弱教師付きテキストベース人物検索のためのクロスモーダル・プロトタイプ・コントラスト学習
• Authors: Xinpeng Zhao, Yanwei Zheng, Chuanlin Lan, Xiaowei Zhang, Bowen Huang, Jibin Yang, Dongxiao Yu,
• Abstract要約: 弱教師付きテキストベースの人物検索は、テキスト記述を用いて対象者の画像を検索しようとする。 主な課題はクラス内の違いであり、モーダル内特徴のバリエーションとモーダル間のセマンティックギャップを含んでいる。 視覚とテキストのインスタンスを共有潜在空間にマッピングするクロスモーダル・プロトタイプ・コントラシティブ・ラーニング(CPCL)手法を提案する。
• 参考スコア（独自算出の注目度）: 10.133031003977834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly supervised text-based person retrieval seeks to retrieve images of a target person using textual descriptions, without relying on identity annotations and is more challenging and practical. The primary challenge is the intra-class differences, encompassing intra-modal feature variations and cross-modal semantic gaps. Prior works have focused on instance-level samples and ignored prototypical features of each person which are intrinsic and invariant. Toward this, we propose a Cross-Modal Prototypical Contrastive Learning (CPCL) method. In practice, the CPCL introduces the CLIP model to weakly supervised text-based person retrieval to map visual and textual instances into a shared latent space. Subsequently, the proposed Prototypical Multi-modal Memory (PMM) module captures associations between heterogeneous modalities of image-text pairs belonging to the same person through the Hybrid Cross-modal Matching (HCM) module in a many-to-many mapping fashion. Moreover, the Outlier Pseudo Label Mining (OPLM) module further distinguishes valuable outlier samples from each modality, enhancing the creation of more reliable clusters by mining implicit relationships between image-text pairs. We conduct extensive experiments on popular benchmarks of weakly supervised text-based person retrieval, which validate the effectiveness, generalizability of CPCL.
• Abstract（参考訳）: 弱教師付きテキストベース人物検索は、個人識別アノテーションに頼ることなく、テキスト記述を用いて対象者の画像を検索し、より困難で実用的である。 主な課題はクラス内の違いであり、モーダル内特徴の変化とモーダル間のセマンティックギャップを含んでいる。 先行研究は、インスタンスレベルのサンプルに焦点を合わせ、本質的で不変である各人の原型的特徴を無視してきた。 そこで本研究では,CPCL(Cross-Modal Prototypeal Contrastive Learning)法を提案する。 実際には、CPCLは、弱い教師付きテキストベースの人物検索にCLIPモデルを導入し、視覚とテキストのインスタンスを共有潜在空間にマッピングする。 提案したPMMモジュールは,Hybrid Cross-modal Matching(HCM)モジュールを多対多のマッピング方式で,同一人物に属する画像テキストペアの不均一なモダリティの関連を捉える。 さらに、OPLM(Outlier Pseudo Label Mining)モジュールは、画像とテキストのペア間の暗黙的な関係をマイニングすることによって、より信頼性の高いクラスタの作成を促進する。 我々は、CPCLの有効性、一般化性を検証する弱教師付きテキストベース人物検索の一般的なベンチマークについて、広範囲にわたる実験を行った。

関連論文リスト

• Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
  教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。 従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。 本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-27T13:58:12Z)
• SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs [70.79124435220695]
  セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。 まず,自然言語の理解と生成に最適化された生成モデルとターゲット識別子を効果的に整合させる構造化自然言語識別器(SID)を構築した。 次に、粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:27Z)
• Multi-Faceted Multimodal Monosemanticity [42.64636740703632]
  深層マルチモーダルモデルから抽出した解釈可能なモノセマンティックな特徴を解析するために,データ駆動型アプローチを採用する。 具体的には,大規模画像とテキストのペアで学習した視覚言語表現モデルであるCLIPについて検討する。 本稿では,CLIPから学んだ特徴を抽出・解析する多モード解釈可能性ツールと尺度について述べる。
  論文  参考訳（メタデータ） (2025-02-16T14:51:07Z)
• CMAL: A Novel Cross-Modal Associative Learning Framework for Vision-Language Pre-Training [17.27516384073838]
  本稿では,係留点検出と相互関連学習を併用したクロスモーダル・アソシエイト学習フレームワークCMALを提案する。 CMALは、4つの共通下流視覚言語タスクにおいて、従来のCMCLベースの手法と競合する性能を達成している。
  論文  参考訳（メタデータ） (2024-10-16T14:12:26Z)
• Contrastive Learning Subspace for Text Clustering [4.065026352441705]
  本稿では,SCL(Subspace Contrastive Learning)というテキストクラスタリング手法を提案する。 提案するSCLは,(1)仮想正のサンプルを構成する自己表現モジュール,(2)テキスト間のタスク固有のクラスタ関係を捉えるための識別サブ空間を学習するコントラスト学習モジュールの2つの主要モジュールから構成される。 実験結果から, 提案手法は複数のタスククラスタリングデータセットにおいて優れた結果を得ただけでなく, 正のサンプル構築における複雑性も低かった。
  論文  参考訳（メタデータ） (2024-08-26T09:08:26Z)
• Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
  我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-16T08:41:01Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Multi-Memory Matching for Unsupervised Visible-Infrared Person Re-Identification [30.983346937558743]
  USL-VI-ReIDの主な課題は、擬似ラベルを効果的に生成し、擬似ラベル対応を確立することである。 我々はUSL-VI-ReIDのためのマルチメモリマッチングフレームワークを提案する。 公開SYSU-MM01とRegDBデータセットの実験は、確立された相互モダリティ対応の信頼性を示す。
  論文  参考訳（メタデータ） (2024-01-12T01:24:04Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• PRIOR: Prototype Representation Joint Learning from Medical Images and Reports [19.336988866061294]
  医用画像とレポートのグローバルなアライメントとローカルなアライメントを組み合わせた表現学習フレームワークを提案する。 標準的なグローバルな多モードアライメント手法とは対照的に、細粒度表現に局所アライメントモジュールを用いる。 低レベルのローカライズされた視覚的および高レベルの臨床言語的特徴に焦点を合わせることができる文量プロトタイプメモリバンクを構築する。
  論文  参考訳（メタデータ） (2023-07-24T07:49:01Z)
• Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
  本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。 このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。 公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-22T03:27:46Z)
• End-to-End Context-Aided Unicity Matching for Person Re-identification [100.02321122258638]
  本稿では,人間同士の一致関係を学習・精査するための,エンドツーエンドの対人一意整合アーキテクチャを提案する。 サンプルのグローバルコンテキスト関係を用いて,ソフトマッチング結果を洗練し,両部グラフマッチングにより一致ユニシティに到達する。 実世界における人物再識別の応用を十分に考慮し, ワンショットとマルチショットの双方で一様マッチングを実現する。
  論文  参考訳（メタデータ） (2022-10-20T07:33:57Z)
• Support-set based Multi-modal Representation Enhancement for Video Captioning [121.70886789958799]
  サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。 具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。 本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
  論文  参考訳（メタデータ） (2022-05-19T03:40:29Z)
• InsCon:Instance Consistency Feature Representation via Self-Supervised Learning [9.416267640069297]
  InsConという,マルチインスタンス情報を取得するための,エンドツーエンドの自己管理フレームワークを提案する。 InsConは、マルチインスタンスイメージを入力として適用し、学習した機能を対応するインスタンスビュー間で整合させるターゲット学習パラダイムを構築している。 一方、InsConでは、セルの一貫性を利用して微細な特徴表現を強化するセルインスタンスのプルとプッシュを導入している。
  論文  参考訳（メタデータ） (2022-03-15T07:09:00Z)
• CoADNet: Collaborative Aggregation-and-Distribution Networks for Co-Salient Object Detection [91.91911418421086]
  Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。 課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。 我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
  論文  参考訳（メタデータ） (2020-11-10T04:28:11Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。