論文の概要: SCMM: Calibrating Cross-modal Fusion for Text-Based Person Search

• arxiv url: http://arxiv.org/abs/2304.02278v6
• Date: Wed, 09 Jul 2025 11:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 15:30:51.856958
• Title: SCMM: Calibrating Cross-modal Fusion for Text-Based Person Search
• Title（参考訳）: SCMM:テキストベースの人物検索のためのクロスモーダルフュージョンの校正
• Authors: Jing Liu, Donglai Wei, Yang Liu, Sipeng Zhang, Tong Yang, Wei Zhou, Weiping Ding, Victor C. M. Leung,
• Abstract要約: テキストベースPerson Search (TBPS) は、クロスモーダル情報融合において重要な課題に直面している。 SCMM(Sew and Masked Modeling)は,2つの相補的なメカニズムによってこれらの融合課題に対処する新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 45.24784242117999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-Based Person Search (TBPS) faces critical challenges in cross-modal information fusion, requiring effective alignment of visual and textual modalities for person retrieval using natural language queries. Existing methods struggle with cross-modal heterogeneity, where visual and textual features reside in disparate semantic spaces, creating substantial inter-modal gaps that limit fusion effectiveness. We propose SCMM (Sew Calibration and Masked Modeling), a novel framework addressing these fusion challenges through two complementary mechanisms. First, our sew calibration loss implements adaptive margin constraints guided by caption quality, dynamically aligning image-text features while accommodating varying information density across modalities. Second, our masked caption modeling loss establishes fine-grained cross-modal correspondences through masked prediction tasks and cross-modal attention, enabling detailed visual-textual relationship learning. The streamlined dual-encoder architecture maintains computational efficiency while achieving superior fusion performance through synergistic alignment and correspondence strategies. Extensive experiments on three benchmark datasets validate SCMM's effectiveness, achieving state-of-the-art Rank1 accuracies of 73.81%, 64.25%, and 57.35% on CUHK-PEDES, ICFG-PEDES, and RSTPReID respectively. These results demonstrate the importance of quality-aware adaptive constraints and fine-grained correspondence modeling in advancing multimodal information fusion for person search applications.
• Abstract（参考訳）: テキストベースパーソンサーチ(TBPS)は、自然言語クエリを用いた人物検索において、視覚的およびテキスト的モダリティの効果的なアライメントを必要とする、クロスモーダル情報融合において重要な課題に直面している。 既存の手法では、視覚的特徴とテキスト的特徴が異なる意味空間に存在し、融合の有効性を制限するモーダル間の実質的なギャップが生じる。 SCMM(Sew Calibration and Masked Modeling)は,2つの相補的なメカニズムによってこれらの融合課題に対処する新しいフレームワークである。 まず,シチューキャリブレーションの損失はキャプション品質によって誘導される適応的マージン制約を実装し,画像テキストの特徴を動的に整列させ,様々な情報密度を調節する。 第二に、マスク付きキャプションモデリング損失は、マスク付き予測タスクとクロスモーダルアテンションを通じて、きめ細かなクロスモーダル対応を確立し、視覚的・テクスチャ関係の詳細な学習を可能にする。 合理化二重エンコーダアーキテクチャは、相乗的アライメントと対応戦略により、優れた融合性能を保ちながら、計算効率を維持する。 3つのベンチマークデータセットの大規模な実験はSCMMの有効性を検証し、それぞれCUHK-PEDES、ICFG-PEDES、RSTPReIDで73.81%、64.25%、57.35%の最先端のランク1アキュラシーを達成した。 これらの結果から,人物検索用マルチモーダル情報融合における品質適応制約と微粒化対応モデルの重要性が示された。

関連論文リスト

• Knowing Where to Focus: Attention-Guided Alignment for Text-based Person Search [64.15205542003056]
  本稿では,AGM(Atention-Guided Mask)モデリングとTEM(Text Enrichment Module)という,2つの革新的なコンポーネントを備えたAGA(Atention-Guided Alignment)フレームワークを紹介する。 AGA は CUHK-PEDES と ICFG-PEDES と RSTP でそれぞれ78.36%、67.31%、67.4% に達した。
  論文  参考訳（メタデータ） (2024-12-19T17:51:49Z)
• MoTaDual: Modality-Task Dual Alignment for Enhanced Zero-shot Composed Image Retrieval [20.612534837883892]
  Composed Image Retrieval (CIR) は、ターゲット画像の検索にバイモーダル(image+text)クエリを利用する、難しい視覚言語タスクである。 本稿では,両者の相違に対処するための2段階の枠組みを提案する。 MoTaDualは、トレーニング時間と計算コストを低く保ちながら、4つの広く使用されているZS-CIRベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-31T08:49:05Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Mind the Modality Gap: Towards a Remote Sensing Vision-Language Model via Cross-modal Alignment [2.389598109913754]
  我々は,多くの画像分類タスクにおいて高い精度を実現するオープン語彙基盤モデルであるContrastive Language- Image Pre-training (CLIP) に注目した。 リモートセンシング(RS)や医用画像など、ゼロショットCLIPのパフォーマンスが最適ではない領域がまだ残っている。 CLIPの視覚的・テキスト的モダリティと異なるRS画像のモダリティを整合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T09:31:07Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Cross-BERT for Point Cloud Pretraining [61.762046503448936]
  我々はクロスモーダルなBERTスタイルの自己教師型学習パラダイムであるCross-BERTを提案する。 不規則な点雲とスパースな点雲の事前訓練を容易にするために,2つの自己教師型タスクを設計し,相互モーダル相互作用を促進させる。 本研究は,3Dポイントクラウド表現の強化とBERTのモダリティ間の伝達能力を高めるために,クロスモーダルな2D知識を活用することの有効性を強調した。
  論文  参考訳（メタデータ） (2023-12-08T08:18:12Z)
• CM-MaskSD: Cross-Modality Masked Self-Distillation for Referring Image Segmentation [29.885991324519463]
  本稿では,CM-MaskSD という新しいクロスモーダルマスク型自己蒸留フレームワークを提案する。 提案手法は,CLIPモデルから画像テキストセマンティックアライメントの伝達知識を継承し,きめ細かいパッチワード特徴アライメントを実現する。 我々のフレームワークはパラメータフリーに近い方法でモデル性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-19T07:17:27Z)
• Plug-and-Play Regulators for Image-Text Matching [76.28522712930668]
  微細な対応と視覚的セマンティックなアライメントの爆発は、画像とテキストのマッチングにおいて大きな可能性を秘めている。 我々は、メッセージ出力を効率的にエンコードして、コンテキストを自動生成し、モーダル表現を集約する、シンプルだが非常に効果的な2つのレギュレータを開発した。 MSCOCOとFlickr30Kデータセットの実験は、複数のモデルで印象的で一貫したR@1ゲインをもたらすことができることを実証している。
  論文  参考訳（メタデータ） (2023-03-23T15:42:05Z)
• Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval [29.884153827619915]
  IRRA:クロスモーダルImplicit Relation Reasoning and Aligning frameworkを提案する。 ローカルなビジュアルテキストトークン間の関係を学習し、グローバルな画像テキストマッチングを強化する。 提案手法は,3つの公開データセットすべてに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2023-03-22T12:11:59Z)
• CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
  TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T03:43:12Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing [1.6758573326215689]
  本稿では,RSテキスト画像検索のための新しい非教師付きクロスモーダルコントラストハッシュ法(DUCH)を提案する。 実験結果から, DUCHは最先端の教師なしクロスモーダルハッシュ法より優れていることがわかった。 私たちのコードはhttps://git.tu-berlin.de/rsim/duch.comで公開されています。
  論文  参考訳（メタデータ） (2022-01-20T12:05:10Z)
• Dual-path CNN with Max Gated block for Text-Based Person Re-identification [6.1534388046236765]
  The novel Dual-path CNN with Max Gated Block (DCMG) was proposed to extract discriminative word embeddeds。 このフレームワークは、クロスモーダル・プロジェクションマッチングに最適化された2つのディープ残差CNNに基づいている。 提案手法はランク1のスコア55.81%を達成し,最先端の手法を1.3%上回った。
  論文  参考訳（メタデータ） (2020-09-20T03:33:29Z)
• Fine-grained Visual Textual Alignment for Cross-Modal Retrieval using Transformer Encoders [14.634046503477979]
  本稿ではTransformer Reasoning and Alignment Network(TERAN)という新しいアプローチを提案する。 TERANは、画像と文の基礎となるコンポーネント間のきめ細かい一致を強制する。 MS-COCO 1Kテストセットでは,画像と文検索タスクでそれぞれ5.7%と3.5%の改善が得られた。
  論文  参考訳（メタデータ） (2020-08-12T11:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。