論文の概要: Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification

• arxiv url: http://arxiv.org/abs/2312.07021v2
• Date: Tue, 19 Dec 2023 02:46:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 21:51:37.129155
• Title: Transferring Modality-Aware Pedestrian Attentive Learning for Visible-Infrared Person Re-identification
• Title（参考訳）: 可視赤外人物再識別のためのモダリティを考慮した歩行者注意学習
• Authors: Yuwei Guo, Wenhao Zhang, Licheng Jiao, Shuang Wang, Shuo Wang, and Fang Liu
• Abstract要約: 本稿では,トランスファーリング・モダリティを意識した歩行者注意学習(TMPA)モデルを提案する。 TMPAは、欠落したモダリティ固有の特徴を効率的に補うために歩行者地域に焦点を当てている。 ベンチマークSYSU-MM01とRegDBデータセットを用いて実験を行い,提案したTMPAモデルの有効性を実証した。
• 参考スコア（独自算出の注目度）: 43.05147831905626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-infrared person re-identification (VI-ReID) aims to search the same pedestrian of interest across visible and infrared modalities. Existing models mainly focus on compensating for modality-specific information to reduce modality variation. However, these methods often lead to a higher computational overhead and may introduce interfering information when generating the corresponding images or features. To address this issue, it is critical to leverage pedestrian-attentive features and learn modality-complete and -consistent representation. In this paper, a novel Transferring Modality-Aware Pedestrian Attentive Learning (TMPA) model is proposed, focusing on the pedestrian regions to efficiently compensate for missing modality-specific features. Specifically, we propose a region-based data augmentation module PedMix to enhance pedestrian region coherence by mixing the corresponding regions from different modalities. A lightweight hybrid compensation module, i.e., the Modality Feature Transfer (MFT), is devised to integrate cross attention and convolution networks to fully explore the discriminative modality-complete features with minimal computational overhead. Extensive experiments conducted on the benchmark SYSU-MM01 and RegDB datasets demonstrated the effectiveness of our proposed TMPA model.
• Abstract（参考訳）: Visible-infrared person re-identification (VI-ReID) は、視覚的および赤外線のモダリティを越えて同じ歩行者を探索することを目的としている。 既存のモデルは、モダリティの変動を減らすためにモダリティ固有の情報を補償することに焦点を当てている。 しかし、これらの手法は計算オーバーヘッドが高くなり、対応する画像や特徴を生成する際に干渉情報を導入することがある。 この問題に対処するためには,歩行者指向の特徴を活用し,モダリティ完全かつ一貫性のある表現を学ぶことが重要である。 本稿では,トランスファーリング・モダリティを意識した歩行者注意学習(TMPA)モデルを提案する。 具体的には,異なるモダリティから対応する領域を混合することにより歩行者領域のコヒーレンスを高めるために,地域ベースのデータ拡張モジュールpedmixを提案する。 軽量なハイブリッド補償モジュールであるmodality feature transfer (mft) は、最小の計算オーバーヘッドで識別的モダリティ完全機能を完全に探求するために、クロスアテンションと畳み込みネットワークを統合するために考案された。 ベンチマークSYSU-MM01とRegDBデータセットを用いた大規模な実験により,提案したTMPAモデルの有効性が示された。

関連論文リスト

• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Modality Unifying Network for Visible-Infrared Person Re-Identification [24.186989535051623]
  Visible-infrared person re-identification (VI-ReID) は、異種間の大きな相違とクラス内変異のために難しい課題である。 既存の手法は主に、異なるモダリティを同じ特徴空間に埋め込むことで、モダリティ共有表現を学習することに焦点を当てている。 そこで我々は,VI-ReID の頑健な補助モダリティを探索するために,新しいモダリティ統一ネットワーク (MUN) を提案する。
  論文  参考訳（メタデータ） (2023-09-12T14:22:22Z)
• Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
  Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。 既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。 本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-08-29T06:55:42Z)
• MRCN: A Novel Modality Restitution and Compensation Network for Visible-Infrared Person Re-identification [36.88929785476334]
  本稿では,2つのモダリティ間のギャップを狭めるために,新しいモダリティ再構成補償ネットワーク(MRCN)を提案する。 この手法はRanc-1の95.1%とRegDBデータセットのmAPの89.2%を達成している。
  論文  参考訳（メタデータ） (2023-03-26T05:03:18Z)
• Visible-Infrared Person Re-Identification Using Privileged Intermediate Information [10.816003787786766]
  クロスモーダルな人物再識別(ReID)は、RGBとIRモダリティ間のデータ分散の大きなドメインシフトのために困難である。 本稿では2つのメインドメイン間のブリッジとして機能する中間仮想ドメインを作成するための新しいアプローチを提案する。 我々は、深いReIDモデルをトレーニングするための追加情報を提供する、可視領域と赤外線領域間の画像を生成する新しい手法を考案した。
  論文  参考訳（メタデータ） (2022-09-19T21:08:14Z)
• MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared Person Re-Identification [35.97494894205023]
  RGB-infrared cross-modality person re-identification (ReID) タスクは、可視モダリティと赤外線モダリティの同一性の画像を認識することを目的としている。 既存の手法は主に2ストリームアーキテクチャを使用して、最終的な共通特徴空間における2つのモード間の相違を取り除く。 単一モダリティ空間と共通空間の両方において、モダリティ調和可能な特徴を学習できる新しい多機能空間共同最適化(MSO)ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T16:45:23Z)
• CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification [38.96033760300123]
  可視赤外人物再識別のための相互モダリティトランスフォーマー法(CMTR) 我々は,モダリティの情報をエンコードするために,トークン埋め込みと融合した新しいモダリティ埋め込みを設計する。 提案するCMTRモデルの性能は,既存のCNN方式をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-10-18T03:12:59Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。