論文の概要: Uncertainty-Aware Prototype Semantic Decoupling for Text-Based Person Search in Full Images
- arxiv url: http://arxiv.org/abs/2505.03567v1
- Date: Tue, 06 May 2025 14:25:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 18:50:11.422463
- Title: Uncertainty-Aware Prototype Semantic Decoupling for Text-Based Person Search in Full Images
- Title（参考訳）: テキストに基づく全画像検索のための不確実性認識型意味的デカップリング
- Authors: Zengli Luo, Canlong Zhang, Xiaochun Lu, Zhixin Li, Zhiwen Wang,
- Abstract要約: テキストに基づく歩行者探索 (TBPS) は, 対象歩行者の位置を自然言語で特定することを目的としている。
MUE(Multi-granularity Uncertainity Estimation)、PUD(Prototype-based Uncertainity Decoupling)、ReID(Cross-modal Re-identification)の3つのモジュールからなる新しいフレームワークであるUDD-TBPSを提案する。
- 参考スコア（独自算出の注目度）: 9.208594097579523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-based pedestrian search (TBPS) in full images aims to locate a target pedestrian in untrimmed images using natural language descriptions. However, in complex scenes with multiple pedestrians, existing methods are limited by uncertainties in detection and matching, leading to degraded performance. To address this, we propose UPD-TBPS, a novel framework comprising three modules: Multi-granularity Uncertainty Estimation (MUE), Prototype-based Uncertainty Decoupling (PUD), and Cross-modal Re-identification (ReID). MUE conducts multi-granularity queries to identify potential targets and assigns confidence scores to reduce early-stage uncertainty. PUD leverages visual context decoupling and prototype mining to extract features of the target pedestrian described in the query. It separates and learns pedestrian prototype representations at both the coarse-grained cluster level and the fine-grained individual level, thereby reducing matching uncertainty. ReID evaluates candidates with varying confidence levels, improving detection and retrieval accuracy. Experiments on CUHK-SYSU-TBPS and PRW-TBPS datasets validate the effectiveness of our framework.
- Abstract（参考訳）: テキストに基づく歩行者探索 (TBPS) は, 対象歩行者の位置を自然言語で特定することを目的としている。
しかし、歩行者が複数いる複雑なシーンでは、既存の手法は検出とマッチングの不確実性によって制限され、性能が劣化する。
そこで本研究では,MUE(Multi-granularity Uncertainty Estimation),PUD(Prototype-based Uncertainty Decoupling),ReID(Cross-modal Re-identification)の3つのモジュールからなる新しいフレームワークであるUDD-TBPSを提案する。
MUEは、潜在的なターゲットを特定するために複数の粒度クエリを実行し、信頼スコアを割り当て、早期の不確実性を減らす。
PUDは、視覚的コンテキスト分離とプロトタイプマイニングを利用して、クエリに記述されたターゲット歩行者の特徴を抽出する。
粗粒度クラスタレベルと細粒度個別レベルの両方で歩行者のプロトタイプ表現を分離し,学習することにより,一致の不確実性を低減する。
ReIDは、信頼度が変化し、検出精度と検索精度が向上した候補を評価する。
CUHK-SYSU-TBPSデータセットとPRW-TBPSデータセットの実験により,本フレームワークの有効性が検証された。
関連論文リスト
- Beyond Walking: A Large-Scale Image-Text Benchmark for Text-based Person Anomaly Search [25.907668574771705]
そこで本研究では,日常的・異常な活動に従事する歩行者をテキストで検索するタスクを提案する。
このタスクのトレーニングと評価を可能にするため,大規模画像テキストによる歩行者異常行動ベンチマークを構築した。
提案したベンチマーク実験により, 合成学習データにより詳細な動作の検索が容易となり, 提案手法は84.93%のリコール@1精度で到達した。
論文 参考訳（メタデータ） (2024-11-26T09:50:15Z) - A Hitchhikers Guide to Fine-Grained Face Forgery Detection Using Common Sense Reasoning [9.786907179872815]
視覚と言語の可能性は、いまだに偽造検出に過小評価されている。
顔偽造検出を視覚質問応答(VQA)タスクに変換する方法論が必要である。
このギャップに対処するために,従来の二項決定パラダイムから分岐する多段階的アプローチを提案する。
論文 参考訳（メタデータ） (2024-10-01T08:16:40Z) - Sample-agnostic Adversarial Perturbation for Vision-Language Pre-training Models [7.350203999073509]
AIセキュリティに関する最近の研究は、画像やテキストの微妙で意図的に設計された摂動に対するビジョンランゲージ事前学習モデルの脆弱性を強調している。
私たちの知る限りでは、どんな画像にも当てはまる普遍的でサンプルに依存しない摂動の生成を探索する、マルチモーダルな決定境界による最初の研究である。
論文 参考訳（メタデータ） (2024-08-06T06:25:39Z) - Keypoint Promptable Re-Identification [76.31113049256375]
Occluded Person Re-Identification (ReID) は、その外見に基づいて隠蔽された個人をマッチングするメトリクス学習タスクである。
本稿では、入力バウンディングボックスを意味キーポイントの集合で明示的に補完する新しいReID問題の定式化であるKeypoint Promptable ReID(KPR)を紹介する。
我々は4つの人気のあるReIDベンチマークのためのカスタムキーポイントラベルをリリースした。人物検索の実験だけでなく、ポーズトラッキングの実験も、我々の手法が従来の最先端手法を体系的に超越していることを示す。
論文 参考訳（メタデータ） (2024-07-25T15:20:58Z) - Breaking the Frame: Visual Place Recognition by Overlap Prediction [53.17564423756082]
本稿では,重なり合う予測に基づく新しい視覚的位置認識手法 VOP を提案する。
VOPは、Vision Transformerのバックボーンを使用してパッチレベルの埋め込みを取得することで、コビジュアブルなイメージセクションを進める。
提案手法では,データベース画像の重複点の評価に投票機構を用いる。
論文 参考訳（メタデータ） (2024-06-23T20:00:20Z) - Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-20T03:17:21Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - ReDFeat: Recoupling Detection and Description for Multimodal Feature
Learning [51.07496081296863]
我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。
本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。
我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
論文 参考訳（メタデータ） (2022-05-16T04:24:22Z) - Uncertainty-Aware Semi-Supervised Few Shot Segmentation [9.098329723771116]
少ないショットセグメンテーション(FSS)は、いくつかのアノテーション付きサポートサンプルを使用して、クエリ画像中の対象オブジェクトのピクセルレベルの分類を学習することを目的としている。
これは、ターゲットオブジェクトの外観のバリエーションをモデル化し、クエリとサポートイメージの間の多様な視覚的手がかりを限られた情報で表現する必要があるため、難しい。
本研究では,不確実性のあるラベル付き画像から新たなプロトタイプを活用できる半教師付きFSS戦略を提案する。
論文 参考訳（メタデータ） (2021-10-18T00:37:46Z) - Discriminative Residual Analysis for Image Set Classification with
Posture and Age Variations [27.751472312581228]
識別残差分析(DRA)は分類性能を向上させるために提案される。
DRAは、残差表現を識別部分空間にキャストする強力な射影を得ようとする。
2つの正則化アプローチは、可能な小さなサンプルサイズ問題に対処するために使用される。
論文 参考訳（メタデータ） (2020-08-23T08:53:06Z) - Pose-guided Visible Part Matching for Occluded Person ReID [80.81748252960843]
本稿では、ポーズ誘導による特徴の識別を共同で学習し、その部分の可視性を自己判断する Pose-Guided Visible Part Matching (PVPM) 法を提案する。
実験結果から,提案手法は最先端手法と競合する性能を示した。
論文 参考訳（メタデータ） (2020-04-01T04:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。