論文の概要: Improving Text-based Person Search via Part-level Cross-modal Correspondence

• arxiv url: http://arxiv.org/abs/2501.00318v1
• Date: Tue, 31 Dec 2024 07:29:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:15:57.501317
• Title: Improving Text-based Person Search via Part-level Cross-modal Correspondence
• Title（参考訳）: 部分レベルクロスモーダル対応によるテキスト型人物検索の改善
• Authors: Jicheol Park, Boseung Jeong, Dongwon Kim, Suha Kwak,
• Abstract要約: 粗大な埋め込みベクトルを抽出する効率的なエンコーダデコーダモデルを提案する。 また、個人IDのみを監督として、きめ細かい情報を捉えることを学ぶという課題もある。 本稿では,各部位の共通度を定量化する,共通性に基づく新たなランキング損失を提案する。
• 参考スコア（独自算出の注目度）: 29.301950609839796
• License:
• Abstract: Text-based person search is the task of finding person images that are the most relevant to the natural language text description given as query. The main challenge of this task is a large gap between the target images and text queries, which makes it difficult to establish correspondence and distinguish subtle differences across people. To address this challenge, we introduce an efficient encoder-decoder model that extracts coarse-to-fine embedding vectors which are semantically aligned across the two modalities without supervision for the alignment. There is another challenge of learning to capture fine-grained information with only person IDs as supervision, where similar body parts of different individuals are considered different due to the lack of part-level supervision. To tackle this, we propose a novel ranking loss, dubbed commonality-based margin ranking loss, which quantifies the degree of commonality of each body part and reflects it during the learning of fine-grained body part details. As a consequence, it enables our method to achieve the best records on three public benchmarks.
• Abstract（参考訳）: テキストベースの人物検索は、クエリとして与えられた自然言語のテキスト記述に最も関係のある人物画像を見つけるタスクである。 このタスクの主な課題は、ターゲット画像とテキストクエリの間に大きなギャップがあることで、対応性を確立し、人との微妙な違いを区別することが困難になる。 この課題に対処するために,アライメントの監督なしに2つのモードにセマンティックに整合した粗大な埋め込みベクトルを抽出する,効率的なエンコーダ・デコーダモデルを提案する。 個人IDのみを監督対象とすることで、詳細な情報を捉えることの別の課題があり、各個人の類似した身体部位は、部分レベルの監督が欠如しているため、異なるものと見なされる。 そこで本研究では,各部位の共通性の度合いを定量化し,細かな部位の詳細を学習中に反映する,共通性に基づく新たなランキング損失を提案する。 その結果,提案手法は3つの公開ベンチマーク上で最高の記録を達成できることがわかった。

関連論文リスト

• PLOT: Text-based Person Search with Part Slot Attention for Corresponding Part Discovery [29.301950609839796]
  本稿では、スロットアテンションに基づく部分発見モジュールを活用して、特徴部分を自律的に識別し、モダリティ間で整合させる新しいフレームワークを提案する。 提案手法は3つの公開ベンチマークで評価され,既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-20T13:05:55Z)
• Shatter and Gather: Learning Referring Image Segmentation with Text Supervision [52.46081425504072]
  入力画像中の意味的エンティティを検出し,テキストクエリに関連するエンティティを組み合わせて参照者のマスクを予測するモデルを提案する。 提案手法は,イメージセグメンテーションを参照するための4つの公開ベンチマークで評価され,既存のタスクと最近の全てのベンチマークにおけるオープン語彙セグメンテーションモデルよりも明らかに優れていた。
  論文  参考訳（メタデータ） (2023-08-29T15:39:15Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)
• Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval [29.884153827619915]
  IRRA:クロスモーダルImplicit Relation Reasoning and Aligning frameworkを提案する。 ローカルなビジュアルテキストトークン間の関係を学習し、グローバルな画像テキストマッチングを強化する。 提案手法は,3つの公開データセットすべてに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2023-03-22T12:11:59Z)
• DeepSolo: Let Transformer Decoder with Explicit Points Solo for Text Spotting [129.73247700864385]
  DeepSoloは単純な検出トランスフォーマーのベースラインで、テキスト検出と認識を同時に行うためのExplicit Points Soloを備えた1つのデコーダを提供する。 我々は、より正確な監視信号を提供するためにテキストマッチング基準を導入し、より効率的な訓練を可能にした。
  論文  参考訳（メタデータ） (2022-11-19T19:06:22Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Learning Semantic-Aligned Feature Representation for Text-based Person Search [8.56017285139081]
  テキストに基づく人物検索のためのセマンティック・アライン・埋め込み手法を提案する。 特徴アライメントは、意味的に整った視覚的特徴とテキスト的特徴を自動的に学習することで達成される。 CUHK-PEDESおよびFlickr30Kデータセットによる実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-12-13T14:54:38Z)
• Text-based Person Search in Full Images via Semantic-Driven Proposal Generation [42.25611020956918]
  本稿では,歩行者検出,識別,視覚意味的特徴埋め込みタスクを協調的に最適化するエンドツーエンド学習フレームワークを提案する。 クエリテキストを最大限に活用するために、セマンティック機能を活用して、リージョン提案ネットワークにテキスト記述された提案にもっと注意を払うように指示する。
  論文  参考訳（メタデータ） (2021-09-27T11:42:40Z)
• Semantically Self-Aligned Network for Text-to-Image Part-aware Person Re-identification [78.45528514468836]
  ReID(Text-to-image person re-identification)は、テキスト記述を用いて興味のある人物を含む画像を検索することを目的としている。 上記の問題に対処するために,Semantically Self-Aligned Network (SSAN)を提案する。 ICFG-PEDESという新しいデータベースを構築。
  論文  参考訳（メタデータ） (2021-07-27T08:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。