論文の概要: Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search

• arxiv url: http://arxiv.org/abs/2608.23503v1
• Date: Mon, 24 Aug 2026 17:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.213635
• Title: Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search
• Title（参考訳）: テキストに基づく人物異常検索のための多モーダル・リランク付き行動適応検索
• Abstract要約: テキストに基づく人物異常検索は、見た目よりもよりきめ細かな、文脈に依存した行動に基づいて個人を識別する必要がある。 既存のメソッドは、これらのコンテキスト条件のアクションをキャプチャするのに苦労する。 本稿では,アクション整合検索とペアワイズ・マルチモーダル・リグレードを組み合わせた3段階間粗大化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.617164505348283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-based person anomaly search requires distinguishing individuals based on fine-grained, context-dependent behaviors rather than mere appearance. Existing methods struggle to capture these context-conditioned actions, frequently relying on isolated skeletal geometry, discarding raw query details during reformulation, or utilizing absolute pointwise scoring for multimodal verification. To address these limitations, we propose \textbf{ActPair}, a unified three-stage coarse-to-fine framework that combines action-aligned retrieval with pairwise multimodal reranking to bridge the pose-semantic gap. First, we fine-tune a vision-language model (VLM) with an action-aligned multi-task objective that encourages the representations to encode action-discriminative semantics. Second, we perform parallel late-fusion retrieval using the original query and a large language model (LLM)-generated context-grounded rewrite, retaining complementary details from both semantic views. Finally, we propose an efficient off-the-shelf reranking module that leverages a pivot-promote algorithm to perform direct pairwise visual comparisons, mitigating residual spatial and compositional ambiguities without the prohibitive inference costs of exhaustive evaluation. Extensive experiments demonstrate that our framework achieves the best results among the compared methods on the Pedestrian Anomaly Behavior (PAB) public test and transfers effectively to an unseen, non-anomaly-specific dataset.
• Abstract（参考訳）: テキストに基づく人物異常検索は、単に外観というよりも、きめ細かい、文脈に依存した行動に基づいて個人を識別する必要がある。 既存の手法では、これらのコンテキスト条件のアクションを捉えるのに苦労し、孤立した骨格形状に依存したり、改定中に生のクエリの詳細を破棄したり、あるいはマルチモーダル検証のために絶対点スコアを利用する。 これらの制約に対処するために,アクション整合性検索とペアワイズマルチモーダルリグレードを組み合わせた3段階間粗大化フレームワークである‘textbf{ActPair} を提案する。 まず,視覚言語モデル (VLM) を,行動識別意味論を符号化する多タスク目的のアクションアラインメントで微調整する。 第二に、元のクエリと大言語モデル(LLM)を用いた並列遅延融合検索を行い、両方のセマンティックビューから補完的な詳細を保持する。 最後に,Philip-promoteアルゴリズムを応用して,空間的・構成的あいまいさを余剰な空間的・構成的あいまいさを緩和する,効率的なオフ・ザ・シェルフ・リグレード・モジュールを提案する。 大規模な実験により,我々のフレームワークは,歩行者異常行動 (PAB) の公開試験において比較した手法の最良の結果を得ることができ,非異常なデータセットに効果的に転送できることを示した。

関連論文リスト

• Generative Universal Multimodal Retrieval with Dual-role Identifiers [1.0981910170846492]
  本稿ではDrIGを提案する。DrIGはDual-role Identifierを特徴とするユニバーサルマルチモーダル検索のための新しい生成フレームワークである。 DrIGは、多種多様なタスクにまたがって、最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率効率効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-08-13T09:10:09Z)
• FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search [0.8609344172589112]
  テキストベースの人物異常検索では、詳細な自然言語記述から現実世界の歩行者画像を取得する必要がある。 このSim2Real設定は、視覚的に類似した候補が微妙なアクション、オブジェクトのインタラクション、外観属性でのみ異なる可能性があるため、特に難しい。 本稿では,大域的意味マッチングと細粒度検証を組み合わせたアンカー制約付き粗粒度検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-10T11:42:52Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Maximal Matching Matters: Preventing Representation Collapse for Robust Cross-Modal Retrieval [0.5999777817331317]
  モダリティの異なるコンテンツ間の多様な関連性のため、モダリティ間の画像テキスト検索は困難である。 従来の手法では、各サンプルのセマンティクスを表現するために、単一ベクトルの埋め込みを学ぶ。 各サンプルを複数の埋め込みで表現するセットベースのアプローチは、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-06-26T17:55:34Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• Boundary-Driven Table-Filling with Cross-Granularity Contrastive Learning for Aspect Sentiment Triplet Extraction [8.011606196420757]
  Aspect Sentiment Triplet extract taskは、きめ細かい感情分析において最も顕著なサブタスクの1つである。 既存のほとんどのアプローチでは、エンドツーエンドで2次元テーブルフィリングプロセスとしてフレームトリプレット抽出を行っている。 文レベル表現と単語レベル表現のセマンティック一貫性を高めるために,BTF-CCLを用いた境界駆動型テーブル充填を提案する。
  論文  参考訳（メタデータ） (2025-02-04T02:23:45Z)
• Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
  本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。 暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。 最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-01-12T04:30:13Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Beat: Bi-directional One-to-Many Embedding Alignment for Text-based Person Retrieval [66.61856014573742]
  テキストベースの人物検索(TPR)は、テキスト記述に基づいて特定の個人を検索する難題である。 これまでは、テキストと画像のサンプルをモーダルシェード空間で整列させようと試みてきた。 本稿では,各サンプルに対して明確な最適化方向を提供する,効果的な双方向一対多埋め込みパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-06-09T03:06:55Z)
• Cross-Modal Coordination Across a Diverse Set of Input Modalities [0.0]
  クロスモーダル検索は、異なるモダリティのクエリを用いて、与えられたモダリティのサンプルを検索するタスクである。 本稿では,CLIPの相対的目的を任意の数の入力モダリティに拡張した上で,この問題に対する2つのアプローチを提案する。 第2は、対照的な定式化から外れ、目標に向かってモデアルの類似性を回帰することで調整問題に取り組む。
  論文  参考訳（メタデータ） (2024-01-29T17:53:25Z)
• Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
  画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。 一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。 本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T04:33:27Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Unsupervised Summarization by Jointly Extracting Sentences and Keywords [12.387378783627762]
  RepRankは、抽出多文書要約のための教師なしグラフベースのランキングモデルである。 学習した表現を用いて,有意な文やキーワードを協調的・相互強化プロセスで抽出できることを示す。 複数のベンチマークデータセットによる実験結果は、RepRankがROUGEで最高の、または同等のパフォーマンスを達成したことを示している。
  論文  参考訳（メタデータ） (2020-09-16T05:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。