論文の概要: Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification

• arxiv url: http://arxiv.org/abs/2204.04842v1
• Date: Mon, 11 Apr 2022 03:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 14:35:42.855247
• Title: Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification
• Title（参考訳）: 可視赤外人物再同定のための均質モダリティ学習と多粒度情報探索に向けて
• Authors: Haojie Liu, Daoxun Xia, Wei Jiang and Chao Xu
• Abstract要約: Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。 従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。 そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
• 参考スコア（独自算出の注目度）: 16.22986967958162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-infrared person re-identification (VI-ReID) is a challenging and essential task, which aims to retrieve a set of person images over visible and infrared camera views. In order to mitigate the impact of large modality discrepancy existing in heterogeneous images, previous methods attempt to apply generative adversarial network (GAN) to generate the modality-consisitent data. However, due to severe color variations between the visible domain and infrared domain, the generated fake cross-modality samples often fail to possess good qualities to fill the modality gap between synthesized scenarios and target real ones, which leads to sub-optimal feature representations. In this work, we address cross-modality matching problem with Aligned Grayscale Modality (AGM), an unified dark-line spectrum that reformulates visible-infrared dual-mode learning as a gray-gray single-mode learning problem. Specifically, we generate the grasycale modality from the homogeneous visible images. Then, we train a style tranfer model to transfer infrared images into homogeneous grayscale images. In this way, the modality discrepancy is significantly reduced in the image space. In order to reduce the remaining appearance discrepancy, we further introduce a multi-granularity feature extraction network to conduct feature-level alignment. Rather than relying on the global information, we propose to exploit local (head-shoulder) features to assist person Re-ID, which complements each other to form a stronger feature descriptor. Comprehensive experiments implemented on the mainstream evaluation datasets include SYSU-MM01 and RegDB indicate that our method can significantly boost cross-modality retrieval performance against the state of the art methods.
• Abstract（参考訳）: Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。 異種画像に存在する大きなモダリティ不一致の影響を軽減するため, 従来手法では, GAN (generative adversarial network) を用いてモダリティ一致データの生成を試みた。 しかし、可視領域と赤外線領域の間の色の変化により、生成した偽のクロスモダリティサンプルは、合成されたシナリオとターゲットの実領域の間のモダリティギャップを埋めるために良い品質を得られず、それが準最適特徴表現に繋がる。 本稿では,gray-gray single-mode learning問題として可視赤外デュアルモード学習を再構成する統一暗黒線スペクトルである aligned grayscale modality (agm) を用いたクロスモダリティマッチング問題に対処する。 具体的には、均質な可視画像からgrasycale様相を生成する。 そこで我々は,赤外線画像から均一なグレースケール画像へ変換するスタイルトランスファーモデルを訓練した。 このようにして、画像空間においてモダリティの差は著しく減少する。 残余の外観差を低減するため,特徴レベルのアライメントを行うために,多粒度特徴抽出ネットワークを導入する。 グローバルな情報に頼るのではなく、より強力な特徴記述子を形成するために互いに補完する人物のRe-IDを支援するために、局所的な特徴(頭部)を活用することを提案する。 sysu-mm01 や regdb などのメインストリーム評価データセットで実施した総合的な実験により,本手法は art 手法に対するクロスモダリティ検索性能を著しく向上させることができることが示された。

関連論文リスト

• Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
  相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。 既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。 本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:56:23Z)
• Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration [66.33746403815283]
  シーン適応型赤外線と可視画像の登録を提案する。 我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。 我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T06:49:56Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification [84.32086702849338]
  RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。 MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。 2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-03T14:26:49Z)
• SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
  クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。 特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
  論文  参考訳（メタデータ） (2021-02-24T08:57:32Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。