論文の概要: FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search
- arxiv url: http://arxiv.org/abs/2608.09474v1
- Date: Mon, 10 Aug 2026 11:42:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.226544
- Title: FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search
- Title（参考訳）: FaLCon:Sim2Realテキストベースの人物異常検索のためのラテコンセンサス付き顔認証検索
- Abstract要約: テキストベースの人物異常検索では、詳細な自然言語記述から現実世界の歩行者画像を取得する必要がある。
このSim2Real設定は、視覚的に類似した候補が微妙なアクション、オブジェクトのインタラクション、外観属性でのみ異なる可能性があるため、特に難しい。
本稿では,大域的意味マッチングと細粒度検証を組み合わせたアンカー制約付き粗粒度検索フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.8609344172589112
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Text-based person anomaly search requires retrieving real-world pedestrian images from detailed natural-language descriptions using models trained primarily on synthetic data. This Sim2Real setting is particularly challenging because visually similar candidates may differ only in subtle actions, object interactions, or appearance attributes, while applying multimodal large language models to the entire gallery is computationally expensive. We propose an anchor-constrained coarse-to-fine retrieval framework that combines global semantic matching with fine-grained verification. First, each query is represented by its original caption, a structured concatenation, and several semantic facets. Heterogeneous vision-language retrievers are then integrated through robust per-query score calibration and soft claim-aware fusion. Full and concatenated captions serve as anchors to preserve candidate recall, whereas appearance, action, and object facets provide bounded corrective evidence. The resulting candidate pool is further refined by a discriminative Qwen3 reranker and two complementary semantic verification modules based on anomaly-aware cloze completion and multi-agent evidence reasoning. Finally, an uncertainty-gated consensus module adaptively reweights the three experts on ambiguous queries. Experiments on the PAB benchmark show that the proposed soft claim-aware retrieval achieves 86.44% mAP@10, substantially outperforming individual retrieval backbones. The complete framework further improves performance to 95.41% mAP@10, 94.44% R@1, and 99.09% R@5. These results demonstrate that preserving strong global retrieval while restricting expensive semantic reasoning to a small candidate pool is effective for fine-grained Sim2Real person anomaly search. Our code will be available on Github.
- Abstract（参考訳）: テキストベースの人物異常検索では、主に合成データに基づいて訓練されたモデルを用いて、詳細な自然言語記述から現実世界の歩行者画像を取得する必要がある。
このSim2Real設定は、視覚的に類似した候補が微妙なアクション、オブジェクトの相互作用、外観属性でのみ異なる可能性があるため、特に困難である。
本稿では,大域的意味マッチングと細粒度検証を組み合わせたアンカー制約付き粗粒度検索フレームワークを提案する。
まず、各クエリは元のキャプション、構造化連結、いくつかのセマンティックファセットで表現される。
不均一な視覚言語検索装置は、ロバストなクエリごとのスコアキャリブレーションとソフトなクレーム認識融合によって統合される。
完全かつ連結されたキャプションは、候補者のリコールを保存するためのアンカーとして機能するが、外見、アクション、および対象のファセットは、境界付けられた修正証拠を提供する。
得られた候補プールは、識別可能なQwen3リランカと、2つの相補的なセマンティック検証モジュールにより、異常認識クローゼ完了とマルチエージェントエビデンス推論に基づいてさらに洗練される。
最後に、不確実性付きコンセンサスモジュールは、曖昧なクエリに関して3人の専門家を適応的に重み付けする。
PABベンチマークの実験では、提案されたソフトクレーム対応検索は86.44%のmAP@10を達成し、個々の検索バックボーンを大幅に上回っている。
完全なフレームワークにより、95.41%のmAP@10、94.44%のR@1、99.09%のR@5のパフォーマンスが向上した。
これらの結果から,高コストなセマンティック推論を小さな候補プールに制限しながら,強力なグローバル検索を維持することは,Sim2Realの人物異常探索に有効であることが示唆された。
私たちのコードはGithubで公開されます。
関連論文リスト
- Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search [10.617164505348283]
テキストに基づく人物異常検索は、見た目よりもよりきめ細かな、文脈に依存した行動に基づいて個人を識別する必要がある。
既存のメソッドは、これらのコンテキスト条件のアクションをキャプチャするのに苦労する。
本稿では,アクション整合検索とペアワイズ・マルチモーダル・リグレードを組み合わせた3段階間粗大化フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-24T17:04:34Z) - Heterogeneous Vision-Language Ensemble with Disagreement-Aware Reranking for Text-Based Person Anomaly Retrieval [0.0]
本稿では,AIシティチャレンジ2026トラック4におけるGENAI4Eチームのソリューションについて述べる。
我々のフレームワークは、強力な検索バックボーンの上に構築され、異種視覚言語埋め込みモデルを統合する。
公式なPedestrian Anomaly Behaviorベンチマークでは、我々のアプローチは90.92% mAPを達成した。
論文 参考訳（メタデータ） (2026-08-13T05:28:50Z) - Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval [17.695551248974215]
UniME-R1は、最初に検索された候補を推論することを学ぶ組込みアドバイザフレームワークである。
UniME-R1は、強いベースライン上での検索性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-08-06T14:04:56Z) - Achieving Text-based Person Retrieval with Any Granularity [80.69427598925718]
本稿では、任意の粒度を持つテキストベースの人物検索という新しいパラダイムを紹介する。
5段階の粒度スペクトルを定式化し,高品質な多粒度アノテートデータセットであるUFine6926-MGを構築した。
次に、クロスモーダルな多重粒度アライニングおよびマッチングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-23T08:42:25Z) - MMAgent-R$^2$: Learning to Rerank and Reject for Agentic mRAG [50.46218163777298]
知識に基づくビジュアル質問回答 (KB-VQA) では、大規模百科事典の知識ベースからクエリ画像と一致する視覚エンティティを検索し、関連する質問に答える必要がある。
MMAgent-R$2$は、視覚的リランク化と能動的拒絶を内部検証機構として統合したエージェントmRAGフレームワークである。
論文 参考訳（メタデータ） (2026-07-08T13:15:39Z) - Bridging the Pose-Semantic Gap: A Cascade Framework for Text-Based Person Anomaly Search [45.34874989015716]
テキストベースの人物異常検索は、自然言語クエリを使用して監視アーカイブから特定の行動イベントを検索する。
最近のポーズアウェア法は、意味的に異なるアクションが類似した骨格のジオメトリを共有できるという、基本的なPose-Semantic Gapに直面している。
本稿では,検索を2段階に分離するSSDC(Structure-Semantic Decoupled Cascade)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-25T12:53:15Z) - MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。
マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-30T15:09:14Z) - Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。
我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。
BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
論文 参考訳（メタデータ） (2025-09-08T10:58:42Z) - CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。
従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。
粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。
我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。
CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
論文 参考訳（メタデータ） (2024-05-06T06:30:17Z) - Automatic Synthetic Data and Fine-grained Adaptive Feature Alignment for Composed Person Retrieval [20.225737169253826]
本稿では,大規模人物画像データベースから興味のある人物を特定するために,視覚的・テキスト的クエリを組み合わせた新しい人物検索タスクを提案する。
CPRタスクの最大の難しさは、利用可能な注釈付きデータセットがないことだ。
マルチモーダルフィルタリング法は、結果のSynCPRデータセットが1.15百万の高品質で完全な合成三重項を保持するように設計されている。
論文 参考訳（メタデータ） (2023-11-25T14:24:49Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。