論文の概要: Multi-Modal Object Re-Identification with Dual Semantic Guidance and Global-Local Mutual Modulation

• arxiv url: http://arxiv.org/abs/2607.29207v1
• Date: Fri, 31 Jul 2026 09:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.675759
• Title: Multi-Modal Object Re-Identification with Dual Semantic Guidance and Global-Local Mutual Modulation
• Title（参考訳）: Dual Semantic GuidanceとGlobal-Local MutualModulationを用いたマルチモーダルオブジェクト再同定
• Abstract要約: マルチモーダルオブジェクト再識別(ReID)は、モダリティ間の相補的な情報を活用することで、ターゲットインスタンスを検索することを目的としている。 既存のメソッドは、整合性があり信頼性の高いセマンティックプリミティブを利用できないため、バックグラウンドの乱雑さやモーダル間のミスアライメントに弱い。 本稿では,マルチモーダルなReIDフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.18497349594355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal object Re-Identification (ReID) aims to retrieve target instances by leveraging complementary information across modalities. However, existing methods suffer from two challenges. First, they often fail to exploit well-aligned and reliable semantic priors, making them vulnerable to background clutter and cross-modal misalignment. On the other hand, they typically rely on holistic feature modeling, overlooking the synergy between global and local representations. To overcome these limitations, we propose a robust multi-modal ReID framework with dual semantic guidance and global-local mutual modulation, which mainly consists of three key components, namely the Text-Semantic Injector (TSI), the Masked Global-Local Modulator (MGLM), and the Hierarchical MoE Fusion (HMF). The TSI enhances semantic awareness by integrating clean and coherent textual features into visual tokens. The MGLM enables part-aware cross-modal interaction through joint guidance from soft masks and global context, improving fine-grained feature alignment. Finally, the HMF adaptively aggregates multi-spectral features under local semantic supervision, yielding discriminative and robust representations. Extensive experiments on three multi-modal ReID benchmarks demonstrate the effectiveness of the proposed method. The code will be made publicly available at https://github.com/zw-absin/DSGM upon acceptance.
• Abstract（参考訳）: マルチモーダルオブジェクト再識別(ReID)は、モダリティ間の相補的な情報を活用することで、ターゲットインスタンスを検索することを目的としている。 しかし、既存の手法には2つの課題がある。 第一に、適切に整合した信頼性の高いセマンティックな事前の活用に失敗することが多く、背景の乱雑さやモダル間のミスアライメントに弱い。 一方、それらは概して全体的特徴モデリングに依存しており、グローバル表現と局所表現の相乗効果を見下ろしている。 これらの制約を克服するために,2つの意味的ガイダンスと大域的相互変調を備えた頑健なマルチモーダルReIDフレームワークを提案し,主にテキスト・セマンティック・インジェクタ (TSI) ,Masked Global-Local Modulator (MGLM) ,階層型MoE Fusion (HMF) の3つの主要コンポーネントからなる。 TSIは、クリーンでコヒーレントなテキスト特徴を視覚トークンに統合することで意味認識を強化する。 MGLMは、ソフトマスクとグローバルコンテキストのジョイントガイダンスを通じて、部分認識のクロスモーダルインタラクションを可能にし、きめ細かい特徴アライメントを改善する。 最後に、HMFは局所的な意味的監督の下で、多スペクトルの特徴を適応的に集約し、識別的かつ堅牢な表現をもたらす。 3つのマルチモーダルReIDベンチマークに対する実験により,提案手法の有効性が示された。 コードは受理後、https://github.com/zw-absin/DSGMで公開される。

関連論文リスト

• MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
  MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。 MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。 MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。 4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
  論文  参考訳（メタデータ） (2026-08-15T07:41:10Z)
• STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification [14.549172375231729]
  3つの主要コンポーネントからなる新しいマルチモーダル学習フレームワークSTMIを提案する。 マルチモーダルReIDシナリオにおけるSTMIフレームワークの有効性とロバスト性を実証する。
  論文  参考訳（メタデータ） (2026-02-28T15:07:10Z)
• Signal: Selective Interaction and Global-local Alignment for Multi-Modal Object Re-Identification [43.774470057037526]
  ReID(Multi-modal object Re-IDentification)は、補完的なマルチモーダル画像情報を利用して特定のオブジェクトを検索する。 マルチモーダルオブジェクトReIDのためのSignalと呼ばれる,新たな選択的相互作用とグローバルなアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-22T07:58:46Z)
• BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation [55.486872677160015]
  マスクレベルの分類タスクとしてマルチモーダルなセマンティックセグメンテーションを再構成する。 統一モダリティマッチング(UMM)とクロスモダリティアライメント(CMA)を統合したBiXFormerを提案する。 合成および実世界のマルチモーダルベンチマーク実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-04T08:04:58Z)
• Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
  教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。 従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。 本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-27T13:58:12Z)
• IDEA: Inverted Text with Cooperative Deformable Aggregation for Multi-modal Object Re-Identification [60.38841251693781]
  本稿では,ロバストなマルチモーダルオブジェクトReIDを生成する新しいフレームワークを提案する。 我々のフレームワークは、多モーダル情報と逆テキストからのセマンティックガイダンスを統合するために、Modal PrefixesとInverseNetを使用している。 3つのマルチモーダルオブジェクトReIDベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-03-13T13:00:31Z)
• Multi-level Matching Network for Multimodal Entity Linking [28.069585532270985]
  MEL(Multimodal entity Linking)は、マルチモーダルなコンテキスト内の曖昧な言及を、マルチモーダルな知識ベース内の対応するエンティティにリンクすることを目的としている。 マルチモーダルエンティティリンク(M3EL)のためのマルチレベルマッチングネットワークを提案する。 M3ELは、3つの異なるモジュールで構成されている: (i) マルチモーダルエンコーダでモーダル固有の表現を抽出するマルチモーダル特徴抽出モジュール、 (ii) マッチング粒度の2レベルを含むモーダル内マッチングネットワークモジュール、 (iii) 双方向戦略、テキスト・ツー・ビジュアルおよびビジュアル・トゥ・テキストマッチングを適用するクロスモーダルマッチングネットワークモジュール。
  論文  参考訳（メタデータ） (2024-12-11T10:26:17Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Global and Local Semantic Completion Learning for Vision-Language Pre-training [34.740507502215536]
  クロスモーダルアライメントは、視覚言語事前学習モデルにおいて重要な役割を果たす。 グローバル・ローカル・セマンティック・コンプリート・ラーニング(GLSCL)タスクを提案し,グローバル・ローカル・アライメントとローカル・ローカル・アライメントを同時に行う。
  論文  参考訳（メタデータ） (2023-06-12T13:20:29Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。