論文の概要: Mix-Modality Person Re-Identification: A New and Practical Paradigm
- arxiv url: http://arxiv.org/abs/2412.04719v1
- Date: Fri, 06 Dec 2024 02:19:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:56:17.840837
- Title: Mix-Modality Person Re-Identification: A New and Practical Paradigm
- Title（参考訳）: 混合モダリティの人物再同定:新しい実践パラダイム
- Authors: Wei Liu, Xin Xu, Hua Chang, Xin Yuan, Zheng Wang,
- Abstract要約: より実用的な混合モダリティ検索パラダイムを提案する。
既存の可視赤外人物再識別法(VI-ReID)は,両モード相互検索のパラダイムにおいていくつかの成果を上げている。
本稿では,Mix-Modality person re-identification (MM-ReID)タスクを提案する。
- 参考スコア（独自算出の注目度）: 20.01921944345468
- License:
- Abstract: Current visible-infrared cross-modality person re-identification research has only focused on exploring the bi-modality mutual retrieval paradigm, and we propose a new and more practical mix-modality retrieval paradigm. Existing Visible-Infrared person re-identification (VI-ReID) methods have achieved some results in the bi-modality mutual retrieval paradigm by learning the correspondence between visible and infrared modalities. However, significant performance degradation occurs due to the modality confusion problem when these methods are applied to the new mix-modality paradigm. Therefore, this paper proposes a Mix-Modality person re-identification (MM-ReID) task, explores the influence of modality mixing ratio on performance, and constructs mix-modality test sets for existing datasets according to the new mix-modality testing paradigm. To solve the modality confusion problem in MM-ReID, we propose a Cross-Identity Discrimination Harmonization Loss (CIDHL) adjusting the distribution of samples in the hyperspherical feature space, pulling the centers of samples with the same identity closer, and pushing away the centers of samples with different identities while aggregating samples with the same modality and the same identity. Furthermore, we propose a Modality Bridge Similarity Optimization Strategy (MBSOS) to optimize the cross-modality similarity between the query and queried samples with the help of the similar bridge sample in the gallery. Extensive experiments demonstrate that compared to the original performance of existing cross-modality methods on MM-ReID, the addition of our CIDHL and MBSOS demonstrates a general improvement.
- Abstract（参考訳）: 現在の可視赤外相互モダリティ再識別研究は、両モダリティ相互検索パラダイムを探求することのみに焦点を当てており、より実用的な混合モダリティ検索パラダイムを提案する。
既存のVisible-Infrared person re-identification (VI-ReID) 法は、可視光と赤外線の対応を学習することで、両モード相互検索のパラダイムにおいていくつかの結果を得た。
しかし、これらの手法が新しい混合モダリティパラダイムに適用された場合、モダリティ混乱問題により、顕著な性能劣化が発生する。
そこで本研究では,Mix-Modality Person Re-identification (MM-ReID) タスクを提案し,Mix-Modality混合比が性能に与える影響を考察し,新しいMix-Modalityテストパラダイムに基づき,既存のデータセットに対するMix-Modalityテストセットを構築した。
MM-ReIDにおけるモダリティ混同問題を解決するために,超球面特徴空間におけるサンプルの分布を調整し,同一の同一性を持つサンプルの中心を近づき,同一のモダリティと同一の同一性を持つサンプルを集約しながら、異なる同一性を持つサンプルの中心を押下するクロスアイデンティティ識別調和損失(CIDHL)を提案する。
さらに,クエリとクエリーサンプル間の相互類似性を,ギャラリー内の類似したブリッジサンプルの助けを借りて最適化する,モダリティブリッジ類似度最適化戦略(MBSOS)を提案する。
CIDHLとMBSOSの併用は,MM-ReID上での既存のクロスモダリティ手法の本来の性能と比較して,全般的な改善が示されている。
関連論文リスト
- From Cross-Modal to Mixed-Modal Visible-Infrared Re-Identification [11.324518300593983]
現行のVI-ReID法はモダリティの整合性に重点を置いているが、実世界の応用にはVとIの両方の画像を含む混合ギャラリーが含まれることが多い。
これは、同じモダリティのギャラリー画像はドメインギャップが低いが、異なるIDに対応するためである。
本稿では,両モダリティのデータを含む新たな混合モードReID設定を提案する。
論文 参考訳（メタデータ） (2025-01-23T01:28:05Z) - Multi-Memory Matching for Unsupervised Visible-Infrared Person Re-Identification [30.983346937558743]
USL-VI-ReIDの主な課題は、擬似ラベルを効果的に生成し、擬似ラベル対応を確立することである。
我々はUSL-VI-ReIDのためのマルチメモリマッチングフレームワークを提案する。
公開SYSU-MM01とRegDBデータセットの実験は、確立された相互モダリティ対応の信頼性を示す。
論文 参考訳（メタデータ） (2024-01-12T01:24:04Z) - Modality Unifying Network for Visible-Infrared Person Re-Identification [24.186989535051623]
Visible-infrared person re-identification (VI-ReID) は、異種間の大きな相違とクラス内変異のために難しい課題である。
既存の手法は主に、異なるモダリティを同じ特徴空間に埋め込むことで、モダリティ共有表現を学習することに焦点を当てている。
そこで我々は,VI-ReID の頑健な補助モダリティを探索するために,新しいモダリティ統一ネットワーク (MUN) を提案する。
論文 参考訳（メタデータ） (2023-09-12T14:22:22Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳（メタデータ） (2023-08-10T08:43:20Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-22T03:27:46Z) - Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared
Person Re-Identification [84.32086702849338]
RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。
MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。
2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
論文 参考訳（メタデータ） (2022-03-03T14:26:49Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2021-12-13T08:58:03Z) - Parameter Sharing Exploration and Hetero-Center based Triplet Loss for
Visible-Thermal Person Re-Identification [17.402673438396345]
本稿では,VT Re-ID(VT Re-ID)タスクについて述べる。
提案手法は,最先端の手法を大きなマージンで明らかに上回っている。
論文 参考訳（メタデータ） (2020-08-14T07:40:35Z) - A Similarity Inference Metric for RGB-Infrared Cross-Modality Person
Re-identification [66.49212581685127]
IRとRGBの相違が大きいため、モダリティの人物再識別(re-ID)は難しい課題である。
既存のメソッドはこの課題に対処するため、典型的には、特徴分布やイメージスタイルをモダリティ間で整列させることで対処する。
本稿では,モダリティ内サンプルの類似性を利用して,モダリティ間の相違を回避する新しい類似度推定指標(SIM)を提案する。
論文 参考訳（メタデータ） (2020-07-03T05:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。