論文の概要: Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching

• arxiv url: http://arxiv.org/abs/2607.18688v1
• Date: Tue, 21 Jul 2026 04:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.305332
• Title: Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching
• Title（参考訳）: Dual-Edged同質-Modality類似性:可視赤外モダリティを目指して-Modality Adaptive Matchingを用いた不完全人物再同定
• Abstract要約: 我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。 VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。 モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
• 参考スコア（独自算出の注目度）: 60.86381869046298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-Infrared Person Re-Identification (VI-ReID) operates under a closed-world assumption, where queries and galleries are from heterogeneous modalities. However, in open-world scenarios, both sets are likely to contain homogeneous and heterogeneous modality images. A query may consist of visible-only, infrared-only, or mixed-modality images, while galleries present multi-modal images over long-term collection. Under these conditions, VI-ReID methods, built on a heterogeneous-modality retrieval paradigm, suffer from three trustworthiness challenges: matching conflicts due to high homogeneous-modality similarity, interference from modality uncertainty, and robustness degradation induced by unknown modality combinations. They fail to meet the requirements of trustworthy visual recognition in reliability, consistency, and dynamic adaptability. To address these challenges, we formalize the Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) task. We reorganize existing datasets to construct the SYSU-VIMI and RegDB-VIMI benchmarks. The unpredictable modality combinations and inherent similarity of homogeneous-modality samples in VIMI-ReID cause a significant performance drop in existing VI-ReID methods. We propose the Modality Adaptive Matching Transformer (MAMT). It employs a Divergence Transformer Module (DTM) and a Shared Transformer Module (STM) to extract modality-specific and modality-shared features, respectively. Guided by a divergence loss, the DTM enriches modality-specific features with modality-style information to enhance discriminability within the same modality. A Modality Adaptive Matching Module (MAM) dynamically fuses features according to the query-gallery modality relationship, enabling stable matching under arbitrary and uncertain modality conditions. Extensive experiments on the VIMI benchmarks demonstrate the effectiveness and adaptability of MAMT.
• Abstract（参考訳）: Visible-Infrared Person Re-Identification (VI-ReID) はクローズドワールドの前提の下で動作し、クエリとギャラリーは異種モダリティから成り立っている。 しかし、オープンワールドのシナリオでは、両方の集合は同質かつ異質なモダリティ像を含む可能性が高い。 クエリは可視光のみ、赤外線のみ、または混合モダリティイメージで構成され、ギャラリーは長期の収集を通じて複数のモダリティイメージを提示する。 これらの条件下では、不均一なモダリティ検索のパラダイムに基づいて構築されたVI-ReID法は、高い均一なモダリティ類似性による対立のマッチング、モダリティの不確実性からの干渉、未知のモダリティ組み合わせによって引き起こされるロバストネス劣化の3つの信頼性に悩まされている。 信頼性、一貫性、動的適応性において信頼できる視覚認識の要件を満たすことができない。 これらの課題に対処するため, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを定式化する。 我々は既存のデータセットを再編成し、SYSU-VIMIとRegDB-VIMIベンチマークを構築した。 VIMI-ReIDにおける予測不可能なモダリティの組み合わせと相似性は、既存のVI-ReID法において顕著な性能低下を引き起こす。 モーダリティ適応整合変換器 (MAMT) を提案する。 ディバージェンス・トランスフォーマー・モジュール (DTM) と共有トランスフォーマー・モジュール (STM) を使用して、それぞれモダリティ固有の特徴とモダリティ共有の特徴を抽出する。 分散損失によって導かれるDTMは、モダリティ特有の特徴をモダリティスタイルの情報で強化し、同じモダリティ内での差別性を高める。 Modality Adaptive Matching Module (MAM) は、クエリ・ガリー・モダリティ関係に従って動的に特徴を融合し、任意のモダリティ条件および不確実なモダリティ条件下で安定したマッチングを可能にする。 VIMIベンチマークの大規模な実験は、MAMTの有効性と適応性を示している。

関連論文リスト

• MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
  MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。 MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。 MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。 4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
  論文  参考訳（メタデータ） (2026-08-15T07:41:10Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data [31.146366498415784]
  マルチモーダルセマンティックセグメンテーションは、リモートセンシング地球観測のための多様なセンサーからの補完情報を統合する。 IMSSは3つの主要な課題に直面している:マルチモーダル不均衡、支配的なモダリティが脆弱なモダリティを抑えること、スケール、形状、方向のクラス内変化、矛盾するキーと矛盾するセマンティック応答を生み出すクロスモーダル不均一。 本稿では,セマンティック・ガイド・モダリティ・アウェア(SGMA)フレームワークを提案する。セマンティック・モダリティ・アウェア(SGMA)フレームワークは,クラス内変動の低減とセマンティックガイダンスによる相互不整合の緩和を図りつつ,バランスの取れたマルチモーダル学習を実現する。
  論文  参考訳（メタデータ） (2026-03-03T01:28:21Z)
• MDReID: Modality-Decoupled Learning for Any-to-Any Multi-Modal Object Re-Identification [32.811775633963066]
  MDReIDは、モダリティマッチしたシナリオとモダリティミスマッチしたシナリオの両方で動作するように設計されたフレキシブルなReIDフレームワークである。 MDReIDは、モダリティ情報は予測可能で転送可能なモダリティ共有特徴と、ユニークでモダリティに依存しない特徴をキャプチャするモダリティ固有の特徴の2つの構成要素に分解できるという洞察に基づいている。
  論文  参考訳（メタデータ） (2025-10-27T13:08:46Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• From Cross-Modal to Mixed-Modal Visible-Infrared Re-Identification [11.324518300593983]
  現行のVI-ReID法はモダリティの整合性に重点を置いているが、実世界の応用にはVとIの両方の画像を含む混合ギャラリーが含まれることが多い。 これは、同じモダリティのギャラリー画像はドメインギャップが低いが、異なるIDに対応するためである。 本稿では,両モダリティのデータを含む新たな混合モードReID設定を提案する。
  論文  参考訳（メタデータ） (2025-01-23T01:28:05Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。