論文の概要: Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification
- arxiv url: http://arxiv.org/abs/2608.06943v1
- Date: Fri, 07 Aug 2026 08:20:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.412206
- Title: Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification
- Title(参考訳): デュアルスペース・モダリティ整合性学習による普遍的クロスモーダル再同定
- Abstract要約: ReID(Cross-modal Re-Identification)は、異種画像モダリティ間で同じアイデンティティを検索することを目的としている。
広義のクロスモーダルReIDのためのDual-Space Modality Consistency Learningフレームワークを提案する。
- 参考スコア(独自算出の注目度): 10.822746613983464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-modal Re-Identification (ReID) aims to retrieve the same identity across heterogeneous imaging modalities and has been widely studied in visible-infrared person ReID and cross-modal ship ReID. Existing methods have achieved promising performance by learning modality consistency in the spatial embedding space, yet often overlook frequency-domain modality discrepancy, particularly in high-frequency representations that are both highly discriminative and modality-sensitive. In addition, most approaches are tailored to specific modality settings, limiting their applicability across diverse cross-modal scenarios. To address these challenges, we propose a Dual-Space Modality Consistency Learning (DSMCL) framework for universal cross-modal ReID. Specifically, DSMCL jointly models spatial feature distribution consistency and frequency-domain discriminative consistency. A Spatial Modality Consistency Learning (SMCL) branch performs Gaussian-based feature alignment, while a Frequency-aware Discriminative Consistency Learning (FDCL) strategy regularizes high-frequency representations through identity-aware cross-modal contrastive learning. By jointly capturing modality-specific characteristics and modality-shared identity cues, DSMCL learns robust representations and establishes a unified framework capable of accommodating diverse heterogeneous modality settings. Moreover, DSMCL is a plug-and-play framework that can be readily integrated into existing cross-modal ReID architectures. Extensive experiments on SYSU-MM01, RegDB, LLCM, HOSS-ReID, and CMShipReID across seventeen evaluation protocols show that DSMCL consistently improves multiple representative baselines.
- Abstract(参考訳): ReID ( Cross-modal Re-Identification, クロスモーダル再同定) は、異種画像モダリティをまたいだ同一のアイデンティティを検索することを目的としており、視覚障害者のReIDとクロスモーダル船のReIDで広く研究されている。
既存の手法は空間埋め込み空間におけるモダリティの整合性を学ぶことで有望な性能を達成したが、特に高い識別性とモダリティに敏感な高周波表現において、周波数領域のモダリティの相違を見落としていることが多い。
さらに、ほとんどのアプローチは特定のモダリティ設定に合わせて調整されており、さまざまなクロスモーダルシナリオで適用性を制限する。
これらの課題に対処するために,汎用なクロスモーダルReIDのためのDSMCL(Dual-Space Modality Consistency Learning)フレームワークを提案する。
具体的には、DSMCLは空間的特徴分布の整合性と周波数領域判別の整合性を共同でモデル化する。
空間モダリティ一貫性学習(SMCL)はガウスに基づく特徴アライメントを実行する一方、周波数対応の識別一貫性学習(FDCL)戦略は、アイデンティティ対応のクロスモーダルコントラスト学習を通じて高周波表現を規則化する。
DSMCLは、モダリティ固有の特徴とモダリティ共有されたアイデンティティーキューを併用して、ロバストな表現を学び、多種多様なモダリティ設定を調節できる統一されたフレームワークを確立する。
さらに、DSMCLは既存のクロスモーダルなReIDアーキテクチャに簡単に統合できるプラグイン・アンド・プレイのフレームワークである。
SYSU-MM01, RegDB, LLCM, HOSS-ReID, CMShipReIDの17個の評価プロトコルにおける拡張実験により, DSMCLは連続的に複数の代表ベースラインを改善していることがわかった。
関連論文リスト
- MMGait: Benchmarking and Unifying Gait Recognition across Heterogeneous Modalities [31.890370751419425]
人間の歩行は、RGB中心のベンチマークでは体系的に調べられない異質な測光、幾何学、運動の手がかりを生成する。
MMGaitは、目視、赤外線、深度、LiDAR、レーダー観測をシーケンスレベルの対応にもたらす大規模なマルチセンサベンチマークである。
Omni-Modal Gait Recognition(Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition)を定式化する。
論文 参考訳(メタデータ) (2026-09-10T14:23:29Z) - Multi-scale Decomposed Convolution Refinement Network for Visible-Infrared Person Re-Identification [11.621464807854816]
Visible-infrared person re-identification (VI-ReID) は、横断的な不一致と限定的な識別能力に悩まされる。
本稿では,MDCRNetを提案する。MDCRNetは,クロスモーダルな特徴学習と識別的メートル法学習を強化するマルチスケール・デコンプリケーション・リファインメント・ネットワークである。
論文 参考訳(メタデータ) (2026-08-17T02:17:02Z) - MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。
MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。
MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。
4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
論文 参考訳(メタデータ) (2026-08-15T07:41:10Z) - Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。
VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。
モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
論文 参考訳(メタデータ) (2026-07-21T04:10:20Z) - CCSD: Cross-Modal Compositional Self-Distillation for Robust Brain Tumor Segmentation with Missing Modalities [2.157012611810736]
入力モードの任意の組み合わせを柔軟に扱える新しいクロスモーダル構成自己蒸留(CCSD)フレームワークを提案する。
CCSDは、様々な欠落したモダリティシナリオにまたがって最先端のパフォーマンスを実現し、強力な一般化と安定性を実現している。
論文 参考訳(メタデータ) (2025-11-18T15:39:53Z) - MDReID: Modality-Decoupled Learning for Any-to-Any Multi-Modal Object Re-Identification [32.811775633963066]
MDReIDは、モダリティマッチしたシナリオとモダリティミスマッチしたシナリオの両方で動作するように設計されたフレキシブルなReIDフレームワークである。
MDReIDは、モダリティ情報は予測可能で転送可能なモダリティ共有特徴と、ユニークでモダリティに依存しない特徴をキャプチャするモダリティ固有の特徴の2つの構成要素に分解できるという洞察に基づいている。
論文 参考訳(メタデータ) (2025-10-27T13:08:46Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳(メタデータ) (2025-09-19T17:29:25Z) - Decoupling Multi-Contrast Super-Resolution: Pairing Unpaired Synthesis with Implicit Representations [6.255537948555454]
マルチコントラスト・スーパーリゾリューション技術は、低解像度のコントラストの品質を高めることができる。
既存のMCSRメソッドは、しばしば固定解像度の設定を前提としており、すべて大きな完全にペアのトレーニングデータセットを必要とする。
本稿では,ペア化トレーニングデータの必要性を排除し,任意のアップスケーリングをサポートするモジュール型マルチコントラスト超解法フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-09T07:48:52Z) - From Cross-Modal to Mixed-Modal Visible-Infrared Re-Identification [11.324518300593983]
現行のVI-ReID法はモダリティの整合性に重点を置いているが、実世界の応用にはVとIの両方の画像を含む混合ギャラリーが含まれることが多い。
これは、同じモダリティのギャラリー画像はドメインギャップが低いが、異なるIDに対応するためである。
本稿では,両モダリティのデータを含む新たな混合モードReID設定を提案する。
論文 参考訳(メタデータ) (2025-01-23T01:28:05Z) - Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning [50.74383395813782]
本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。
提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-09-21T12:02:47Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-05-22T03:27:46Z) - Domain Private and Agnostic Feature for Modality Adaptive Face
Recognition [10.497190559654245]
本稿では,不整合表現モジュール(DRM),特徴融合モジュール(FFM),計量ペナルティ学習セッションを含む特徴集約ネットワーク(FAN)を提案する。
第一に、DRMでは、ドメインに依存しないネットワークとドメインに依存しないネットワークという2つのワークは、モダリティの特徴とアイデンティティの特徴を学習するために特別に設計されている。
第2に、FFMでは、ID特徴をドメイン特徴と融合させて、双方向の双方向ID特徴変換を実現する。
第3に、容易なペアとハードペアの分布不均衡がクロスモーダルデータセットに存在することを考えると、適応性のあるID保存計量学習が可能である。
論文 参考訳(メタデータ) (2020-08-10T00:59:42Z) - Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person
Re-Identification [208.1227090864602]
Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。
既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。
そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
論文 参考訳(メタデータ) (2020-07-18T03:08:13Z) - Cross-modality Person re-identification with Shared-Specific Feature
Transfer [112.60513494602337]
クロスモダリティの人物再識別(cm-ReID)は、インテリジェントビデオ分析において難しいが重要な技術である。
モーダリティ共有型特徴伝達アルゴリズム (cm-SSFT) を提案し, モーダリティ共有型情報とモーダリティ固有特性の両方のポテンシャルについて検討する。
論文 参考訳(メタデータ) (2020-02-28T00:18:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。