論文の概要: LAIP: Learning Local Alignment from Image-Phrase Modeling for Text-based Person Search

• arxiv url: http://arxiv.org/abs/2406.10845v2
• Date: Sun, 23 Jun 2024 05:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 00:04:06.776541
• Title: LAIP: Learning Local Alignment from Image-Phrase Modeling for Text-based Person Search
• Title（参考訳）: LAIP:テキストに基づく人物検索のための画像合成モデルから局所的アライメントを学習する
• Authors: Haiguang Wang, Yu Wu, Mengxia Wu, Cao Min, Min Zhang,
• Abstract要約: 本稿では、双方向アテンション重み付き局所アライメント(BidirAtt)とマスクフレーズモデリング(MPM)モジュールを備えたLAIP(Local Alignment from Image-Phrase Modeling)フレームワークを提案する。 CUHK-PEDES、ICFG-PEDES、RSTPReidデータセットで実施された実験は、既存の手法よりもLAIPフレームワークの方が優れていることを示している。
• 参考スコア（独自算出の注目度）: 16.7500024682162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-based person search aims at retrieving images of a particular person based on a given textual description. A common solution for this task is to directly match the entire images and texts, i.e., global alignment, which fails to deal with discerning specific details that discriminate against appearance-similar people. As a result, some works shift their attention towards local alignment. One group matches fine-grained parts using forward attention weights of the transformer yet underutilizes information. Another implicitly conducts local alignment by reconstructing masked parts based on unmasked context yet with a biased masking strategy. All limit performance improvement. This paper proposes the Local Alignment from Image-Phrase modeling (LAIP) framework, with Bidirectional Attention-weighted local alignment (BidirAtt) and Mask Phrase Modeling (MPM) module.BidirAtt goes beyond the typical forward attention by considering the gradient of the transformer as backward attention, utilizing two-sided information for local alignment. MPM focuses on mask reconstruction within the noun phrase rather than the entire text, ensuring an unbiased masking strategy. Extensive experiments conducted on the CUHK-PEDES, ICFG-PEDES, and RSTPReid datasets demonstrate the superiority of the LAIP framework over existing methods.
• Abstract（参考訳）: テキストベースの人物検索は、与えられたテキスト記述に基づいて、特定の人物の画像を取得することを目的としている。 このタスクの一般的な解決策は、画像とテキスト全体、すなわちグローバルアライメントを直接一致させることである。 結果として、一部の作品では注意を局所的なアライメントにシフトさせている。 1つのグループは、変圧器のフォワードアテンション重みを使ってきめ細かな部分とマッチングするが、情報は未利用である。 もうひとつは、マスクされた部分の非マスキングのコンテキストに基づいて、偏りのあるマスキング戦略を用いて、局所的なアライメントを暗黙的に実施する。 すべての性能改善を制限します。 本稿では,2方向アテンション重み付き局所アライメント (BidirAtt) と Mask Phrase Modeling (MPM) モジュールを用いたLAIP(Local Alignment from Image-Phrase Modeling) フレームワークを提案する。 MPMは、全文ではなく名詞句の中でマスクの再構築に焦点を当て、偏見のないマスキング戦略を確実にする。 CUHK-PEDES、ICFG-PEDES、RSTPReidデータセットで実施された大規模な実験は、既存の手法よりもLAIPフレームワークの方が優れていることを示している。

関連論文リスト

• SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment [11.556516260190737]
  言語と視覚のマルチモーダルアライメントは、現在の視覚言語モデル研究の基本的なトピックである。 本稿では,Contrastive Language-Image Pretraining (CLIP) と Image Caption (IC) を統合するためのContrastive Captioners (CoCa) を提案する。
  論文  参考訳（メタデータ） (2024-01-04T08:42:36Z)
• Text Augmented Spatial-aware Zero-shot Referring Image Segmentation [60.84423786769453]
  テキスト拡張空間認識(TAS)ゼロショット参照画像セグメンテーションフレームワークを提案する。 TASには、例レベルのマスク抽出のためのマスク提案ネットワーク、画像テキスト相関をマイニングするためのテキスト拡張ビジュアルテキストマッチングスコア、マスク後処理のための空間が含まれている。 提案手法は,最先端のゼロショット参照画像セグメンテーション法より明らかに優れている。
  論文  参考訳（メタデータ） (2023-10-27T10:52:50Z)
• BiLMa: Bidirectional Local-Matching for Text-based Person Re-identification [2.3931689873603603]
  テキストベースの人物再識別(TBPReID)は、与えられたテキストクエリで表現された人物画像を取得することを目的としている。 画像やテキストをグローバルに、そしてローカルに効果的に整列する方法は、重要な課題だ。 TBPReIDモデルトレーニングにおいて,マスク付き画像モデリング(MIM)を協調的に最適化する双方向局所マッチング(LMa)フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-09T04:01:24Z)
• CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation [104.5033800500497]
  画像セグメント化の参照は、自然言語文で記述された視覚オブジェクトのすべてのピクセルをローカライズすることを目的としている。 以前の作業では、参照オブジェクトをハイライトするために、文章の埋め込みとピクセルレベルの埋め込みを簡単に調整することを学びました。 単純で効果的なマルチレベル視覚系列アライメント法であるCoupAlignを提案する。
  論文  参考訳（メタデータ） (2022-12-04T08:53:42Z)
• Learning to Generate Text-grounded Mask for Open-world Semantic Segmentation from Only Image-Text Pairs [10.484851004093919]
  我々は,任意の視覚概念をイメージに分割する学習を目的とした,オープンワールドセマンティックセマンティックセマンティックセマンティクスに取り組む。 既存のオープンワールドセグメンテーション手法は、多様な視覚概念を学習するためにコントラッシブラーニング(CL)を採用することで、目覚ましい進歩を見せている。 そこで本研究では,モデルが地域テキストアライメントを直接学習することのできる,新しいテキストグラウンド・コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:03Z)
• Towards Effective Image Manipulation Detection with Proposal Contrastive Learning [61.5469708038966]
  本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。 我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。 我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
  論文  参考訳（メタデータ） (2022-10-16T13:30:13Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Weakly-supervised segmentation of referring expressions [81.73850439141374]
  テキスト基底セマンティックSEGmentationは、ピクセルレベルのアノテーションなしで画像レベルの参照式から直接セグメンテーションマスクを学習する。 提案手法は,PhraseCutおよびRefCOCOデータセット上での表現セグメンテーションを弱教師付きで参照する際の有望な結果を示す。
  論文  参考訳（メタデータ） (2022-05-10T07:52:24Z)
• Text-to-Image Generation Grounded by Fine-Grained User Attention [62.94737811887098]
  Localized Narrativesは、マウストレースと組み合わせた画像の詳細な自然言語記述を備えたデータセットである。 本稿では、このグラウンド化を利用して画像を生成するシーケンシャルモデルであるTReCSを提案する。
  論文  参考訳（メタデータ） (2020-11-07T13:23:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。