論文の概要: Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification

• arxiv url: http://arxiv.org/abs/2003.00213v1
• Date: Sat, 29 Feb 2020 09:01:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:54:03.677576
• Title: Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification
• Title（参考訳）: RGB赤外線人物再同定のためのクロススペクトルデュアルサブスペースペアリング
• Authors: Xing Fan, Hao Luo, Chi Zhang, Wei Jiang
• Abstract要約: 従来の人物識別はRGBカラー画像しか扱えないが、暗い条件下では失敗する。 RGB赤外線ReID(Infrared-Visible ReID、Visible-Thermal ReIDとも呼ばれる)が提案されている。 本稿では, 新たなマルチスペクトル画像生成手法を提案し, 生成したサンプルを用いて, ネットワークの識別情報検索を支援する。
• 参考スコア（独自算出の注目度）: 15.475897856494583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to its potential wide applications in video surveillance and other computer vision tasks like tracking, person re-identification (ReID) has become popular and been widely investigated. However, conventional person re-identification can only handle RGB color images, which will fail at dark conditions. Thus RGB-infrared ReID (also known as Infrared-Visible ReID or Visible-Thermal ReID) is proposed. Apart from appearance discrepancy in traditional ReID caused by illumination, pose variations and viewpoint changes, modality discrepancy produced by cameras of the different spectrum also exists, which makes RGB-infrared ReID more difficult. To address this problem, we focus on extracting the shared cross-spectrum features of different modalities. In this paper, a novel multi-spectrum image generation method is proposed and the generated samples are utilized to help the network to find discriminative information for re-identifying the same person across modalities. Another challenge of RGB-infrared ReID is that the intra-person (images from the same person) discrepancy is often larger than the inter-person (images from different persons) discrepancy, so a dual-subspace pairing strategy is proposed to alleviate this problem. Combining those two parts together, we also design a one-stream neural network combining the aforementioned methods to extract compact representations of person images, called Cross-spectrum Dual-subspace Pairing (CDP) model. Furthermore, during the training process, we also propose a Dynamic Hard Spectrum Mining method to automatically mine more hard samples from hard spectrum based on the current model state to further boost the performance. Extensive experimental results on two public datasets, SYSU-MM01 with RGB + near-infrared images and RegDB with RGB + far-infrared images, have demonstrated the efficiency and generality of our proposed method.
• Abstract（参考訳）: ビデオ監視やトラッキングなどのコンピュータビジョンタスクにおける潜在的な応用により、人物再識別(ReID)が普及し、広く研究されている。 しかし、従来の人物識別は、暗黒条件で失敗するRGBカラー画像のみを扱うことができる。 したがって、RGB赤外線ReID(Infrared-Visible ReID、Visible-Thermal ReIDとも呼ばれる)が提案される。 照明、ポーズのバリエーション、視点の変化による従来のReIDの外観の相違は別として、異なるスペクトルのカメラによって生成されたモダリティの相違も存在し、RGB赤外線ReIDをより困難にしている。 この問題に対処するため,我々は,異なるモダリティの共通クロススペクトル特徴の抽出に焦点をあてる。 本稿では,新しいマルチスペクトル画像生成法を提案し,生成されたサンプルを用いて同一人物を同一人物と再同定するための識別情報を求める。 rgb-infrared reidのもうひとつの課題は、対人(同一人物の画像)の不一致が対人(異人画像)の不一致よりも大きいことが多いため、この問題を緩和するために二重サブスペースペアリング戦略が提案されている。 これら2つの部分を組み合わせることで、上記2つの手法を組み合わせて、cdpモデルと呼ばれる人物画像のコンパクト表現を抽出する1ストリームニューラルネットワークを設計する。 さらに、トレーニングプロセス中に、現在のモデル状態に基づいてハードスペクトルからより多くのハードサンプルを自動的にマイニングし、パフォーマンスをさらに向上する動的ハードスペクトルマイニング法を提案する。 rgb + 近赤外画像のsysu-mm01とrgb + 遠赤外画像のregdbの2つの公開データセットの広範な実験結果から,提案手法の有効性と汎用性が実証された。

関連論文リスト

• Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
  相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。 既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。 本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:56:23Z)
• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• A Multi-modal Approach to Single-modal Visual Place Classification [2.580765958706854]
  RGBと深度(D)を組み合わせたマルチセンサー融合アプローチが近年人気を集めている。 単一モードRGB画像分類タスクを擬似多モードRGB-D分類問題として再構成する。 これら2つのモダリティを適切に処理し、融合し、分類するための、実践的で完全に自己管理されたフレームワークについて説明する。
  論文  参考訳（メタデータ） (2023-05-10T14:04:21Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
  Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。 従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。 そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
  論文  参考訳（メタデータ） (2022-04-11T03:03:19Z)
• Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification [84.32086702849338]
  RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。 MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。 2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-03T14:26:49Z)
• SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification [12.566284647658053]
  クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。 特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
  論文  参考訳（メタデータ） (2021-02-24T08:57:32Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)
• RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model [20.70796497371778]
  本稿では,教師-学生GANモデル(TS-GAN)を提案する。 他のGANベースモデルとは異なり、提案されたモデルはテスト段階ではバックボーンモジュールのみを必要とするため、より効率的でリソースを節約できる。
  論文  参考訳（メタデータ） (2020-07-15T02:58:46Z)
• A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification [66.49212581685127]
  IRとRGBの相違が大きいため、モダリティの人物再識別(re-ID)は難しい課題である。 既存のメソッドはこの課題に対処するため、典型的には、特徴分布やイメージスタイルをモダリティ間で整列させることで対処する。 本稿では,モダリティ内サンプルの類似性を利用して,モダリティ間の相違を回避する新しい類似度推定指標(SIM)を提案する。
  論文  参考訳（メタデータ） (2020-07-03T05:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。