Fugu-MT 論文翻訳(概要): MARS: Paying more attention to visual attributes for text-based person search

論文の概要: MARS: Paying more attention to visual attributes for text-based person search

arxiv url: http://arxiv.org/abs/2407.04287v1
Date: Fri, 5 Jul 2024 06:44:43 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 14:21:30.713393
Title: MARS: Paying more attention to visual attributes for text-based person search
Title（参考訳）: MARS:テキストに基づく人物検索のための視覚属性にもっと注意を払う
Authors: Alex Ergasti, Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati,
Abstract要約: 本稿ではMARS(Mae-Attribute-Relation-Sensitive)という新しいTBPSアーキテクチャを提案する。ビジュアルレコンストラクションロスと属性ロスという2つの重要なコンポーネントを導入することで、現在の最先端モデルを強化する。 CUHK-PEDES、ICFG-PEDES、RSTPReidの3つの一般的なデータセットの実験では、パフォーマンス改善が報告されている。
参考スコア（独自算出の注目度）: 6.438244172631555
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text-based person search (TBPS) is a problem that gained significant interest within the research community. The task is that of retrieving one or more images of a specific individual based on a textual description. The multi-modal nature of the task requires learning representations that bridge text and image data within a shared latent space. Existing TBPS systems face two major challenges. One is defined as inter-identity noise that is due to the inherent vagueness and imprecision of text descriptions and it indicates how descriptions of visual attributes can be generally associated to different people; the other is the intra-identity variations, which are all those nuisances e.g. pose, illumination, that can alter the visual appearance of the same textual attributes for a given subject. To address these issues, this paper presents a novel TBPS architecture named MARS (Mae-Attribute-Relation-Sensitive), which enhances current state-of-the-art models by introducing two key components: a Visual Reconstruction Loss and an Attribute Loss. The former employs a Masked AutoEncoder trained to reconstruct randomly masked image patches with the aid of the textual description. In doing so the model is encouraged to learn more expressive representations and textual-visual relations in the latent space. The Attribute Loss, instead, balances the contribution of different types of attributes, defined as adjective-noun chunks of text. This loss ensures that every attribute is taken into consideration in the person retrieval process. Extensive experiments on three commonly used datasets, namely CUHK-PEDES, ICFG-PEDES, and RSTPReid, report performance improvements, with significant gains in the mean Average Precision (mAP) metric w.r.t. the current state of the art.
Abstract（参考訳）: テキストベースの人物検索(TBPS)は、研究コミュニティ内で大きな関心を集めている問題である。タスクは、テキスト記述に基づいて、特定の個人の1つ以上の画像を検索する作業である。タスクのマルチモーダルな性質は、テキストと画像データを共有潜在空間内にブリッジする学習表現を必要とする。既存のTBPSシステムは2つの大きな課題に直面している。一人は、本質的な曖昧さとテキスト記述の不正確さによる個人間ノイズと定義され、また、視覚的属性の記述が一般的に異なる人々とどのように結びつくかを示すものであり、もう一つは、被写体における同じテキスト属性の視覚的外観を変えることのできる、すべてのニュアンスegのポーズ、照明である、同一性内ノイズである。これらの課題に対処するために,MARS (Mae-Attribute-Relation-Sensitive) という新しいTBPSアーキテクチャを提案する。前者は、テキスト記述の助けを借りてランダムにマスクされたイメージパッチを再構築するよう訓練されたMasked AutoEncoderを使用している。そうすることで、モデルはより表現力のある表現と、潜在空間におけるテキストと視覚の関係を学ぶことが奨励される。 Attribute Lossは、形容詞-名詞のテキストチャンクとして定義される、さまざまなタイプの属性のコントリビューションのバランスを取る。この損失は、人物検索プロセスにおいて全ての属性が考慮されることを保証する。 CUHK-PEDES(英語版)、ICFG-PEDES(英語版)、RSTPReid(英語版)の3つの一般的なデータセットに対する大規模な実験では、現在の最先端の平均精度(mAP)メートル法において大きな改善が報告されている。

関連論文リスト

ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
論文参考訳（メタデータ） (2024-08-19T15:27:25Z)
VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
論文参考訳（メタデータ） (2024-04-10T15:09:15Z)
Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
論文参考訳（メタデータ） (2023-07-18T08:23:46Z)
PV2TEA: Patching Visual Modality to Textual-Established Information Extraction [59.76117533540496]
我々は、その視覚的モダリティをテキスト化された属性情報抽出器にパッチする。 PV2TEAは3つのバイアス低減方式を備えたエンコーダデコーダアーキテクチャである。実世界のeコマースデータセットに関する実証的な結果は、絶対値11.74%(相対値20.97%)のF1の増加を示す。
論文参考訳（メタデータ） (2023-06-01T05:39:45Z)
Learning Semantic-Aligned Feature Representation for Text-based Person Search [8.56017285139081]
テキストに基づく人物検索のためのセマンティック・アライン・埋め込み手法を提案する。特徴アライメントは、意味的に整った視覚的特徴とテキスト的特徴を自動的に学習することで達成される。 CUHK-PEDESおよびFlickr30Kデータセットによる実験結果から,本手法が最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2021-12-13T14:54:38Z)
DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
論文参考訳（メタデータ） (2021-08-27T07:20:34Z)
Semantically Self-Aligned Network for Text-to-Image Part-aware Person Re-identification [78.45528514468836]
ReID(Text-to-image person re-identification)は、テキスト記述を用いて興味のある人物を含む画像を検索することを目的としている。上記の問題に対処するために,Semantically Self-Aligned Network (SSAN)を提案する。 ICFG-PEDESという新しいデータベースを構築。
論文参考訳（メタデータ） (2021-07-27T08:26:47Z)
Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval [8.317191999275536]
本稿では,視覚的・テキスト的手がかりの形でマルチモーダルコンテンツを活用することで,微細な画像分類と検索の課題に取り組むことに焦点を当てる。画像中の有意なオブジェクトとテキスト間の共通意味空間を学習することにより、マルチモーダル推論を行い、関係強化された特徴を得るためにグラフ畳み込みネットワークを用いる。
論文参考訳（メタデータ） (2020-09-21T12:31:42Z)
ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language [36.319953919737245]
自然言語による人物検索は、与えられたテキスト記述にマッチする大規模な画像プールにおいて、特定の人物を検索することを目的としている。そこで本稿では,特定の属性句を対応する視覚領域に接地できる属性適応型視点を提案する。私たちは、堅牢な機能学習によってパフォーマンスが向上するだけでなく、成功も達成しています。
論文参考訳（メタデータ） (2020-05-15T02:22:28Z)
Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching [102.62343739435289]
既存の画像テキストマッチングアプローチは、テキストと画像の各独立オブジェクト間の親和性をキャプチャして集約することにより、画像テキストペアの類似性を推測する。本稿では,リカレントニューラルネットワーク(RNN)を用いて画像と文を対称に処理するDual Path Recurrent Neural Network (DP-RNN)を提案する。我々のモデルはFlickr30Kデータセットの最先端性能とMS-COCOデータセットの競合性能を達成する。
論文参考訳（メタデータ） (2020-02-20T00:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。