論文の概要: Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification

• arxiv url: http://arxiv.org/abs/2002.04114v2
• Date: Tue, 18 Feb 2020 00:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 09:20:24.233835
• Title: Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
• Title（参考訳）: RGB赤外人物再同定のためのクロスモダリティペア画像生成
• Authors: Guan-An Wang, Tianzhu Zhang. Yang Yang, Jian Cheng, Jianlong Chang, Xu Liang, Zengguang Hou
• Abstract要約: 本稿では,大域的セットレベルと細粒度インスタンスレベルのアライメントを両立させることを提案する。 本手法は,モダリティに特有な特徴を明示的に除去し,モダリティの変動を低減できる。 我々のモデルはランク1とmAPで9.2%と7.7%を得ることができる。
• 参考スコア（独自算出の注目度）: 29.92261627385826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-Infrared (IR) person re-identification is very challenging due to the large cross-modality variations between RGB and IR images. The key solution is to learn aligned features to the bridge RGB and IR modalities. However, due to the lack of correspondence labels between every pair of RGB and IR images, most methods try to alleviate the variations with set-level alignment by reducing the distance between the entire RGB and IR sets. However, this set-level alignment may lead to misalignment of some instances, which limits the performance for RGB-IR Re-ID. Different from existing methods, in this paper, we propose to generate cross-modality paired-images and perform both global set-level and fine-grained instance-level alignments. Our proposed method enjoys several merits. First, our method can perform set-level alignment by disentangling modality-specific and modality-invariant features. Compared with conventional methods, ours can explicitly remove the modality-specific features and the modality variation can be better reduced. Second, given cross-modality unpaired-images of a person, our method can generate cross-modality paired images from exchanged images. With them, we can directly perform instance-level alignment by minimizing distances of every pair of images. Extensive experimental results on two standard benchmarks demonstrate that the proposed model favourably against state-of-the-art methods. Especially, on SYSU-MM01 dataset, our model can achieve a gain of 9.2% and 7.7% in terms of Rank-1 and mAP. Code is available at https://github.com/wangguanan/JSIA-ReID.
• Abstract（参考訳）: RGB-赤外線(IR)人物の再識別は、RGB画像とIR画像の間に大きな相違があるため、非常に困難である。 主要な解決策は、ブリッジRGBとIRモダリティに整列した機能を学ぶことである。 しかし、RGBとIR画像間の対応ラベルが欠如しているため、ほとんどの手法はRGBとIRセット間の距離を小さくすることで、セットレベルのアライメントによる変動を緩和しようとする。 しかし、このセットレベルのアライメントは、RGB-IR Re-IDの性能を制限するいくつかのインスタンスの誤調整につながる可能性がある。 本稿では,既存の手法と異なり,クロスモダリティなペアイメージを生成し,大域的な集合レベルときめ細かいインスタンスレベルのアライメントを行う。 提案手法にはいくつかのメリットがある。 まず,本手法はモダリティ特有の特徴とモダリティ不変特徴を分離することで,セットレベルアライメントを行うことができる。 従来の方法と比較して,モダリティ特有の特徴を明示的に取り除き,モダリティの変動を低減できる。 第2に,人物のクロスモダリティアンペア画像が与えられた場合,交換画像からクロスモダリティペア画像を生成することができる。 これにより、各画像の距離を最小化することで、インスタンスレベルのアライメントを直接実行できます。 2つの標準ベンチマークの広範な実験結果から、提案されたモデルは最先端の手法に好適であることが示された。 特に、SYSU-MM01データセットでは、ランク1とmAPで9.2%と7.7%のゲインが得られる。 コードはhttps://github.com/wangguanan/JSIA-ReIDで入手できる。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• Cross-Modality Proposal-guided Feature Mining for Unregistered RGB-Thermal Pedestrian Detection [8.403885039441263]
  本稿では,RGBと熱画像中の2つの歩行者位置をそれぞれ予測する未登録RGB-T歩行者検出のための新しいパラダイムを提案する。 具体的には、RGB-T画像対が不整合であっても、歩行者を2つのモードで表現する2つの正確な融合特徴を抽出する、相互モダリティ提案誘導機能マイニング(CPFM)機構を提案する。 CPFM機構を用いて,CPFM機構によって抽出された核融合特性に基づいて,2つのモードにおける2つの歩行者位置を推定する2ストリーム密度検出器を構築した。
  論文  参考訳（メタデータ） (2023-08-23T12:58:51Z)
• Semantic RGB-D Image Synthesis [22.137419841504908]
  この問題に対処するために,意味的RGB-D画像合成を導入する。 しかし、現在のアプローチはユニモーダルであり、マルチモーダルデータには対応できない。 意味的レイアウトのモーダル非依存情報とモーダル依存情報とを分離したマルチモーダルデータのジェネレータを提案する。
  論文  参考訳（メタデータ） (2023-08-22T11:16:24Z)
• RGB-Multispectral Matching: Dataset, Learning Methodology, Evaluation [49.28588927121722]
  ステレオマッチング対応を解くことで,解像度の異なる同期色(RGB)とマルチスペクトル画像(MS)の登録の問題に対処する。 室内環境における13の異なるシーンをフレーミングする新しいRGB-MSデータセットを導入し,34枚の画像対に半高解像度の高解像度の地上トラスラベルを付加したアノテートを行った。 そこで本研究では,RGBカメラを活用した自己指導型ディープラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-14T17:59:59Z)
• Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification [84.32086702849338]
  RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。 MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。 2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-03T14:26:49Z)
• Self-Supervised Modality-Aware Multiple Granularity Pre-Training for RGB-Infrared Person Re-Identification [9.624510941236837]
  Modality-Aware Multiple Granularity Learning (MMGL)は、ImageNetの事前学習に代わる自己教師付き事前学習である。 MMGLはImageNetの事前トレーニングよりも高速なトレーニング速度(数時間で収束)とデータ効率(5%のデータサイズ)で、より良い表現(+6.47% Rank-1)を学習する。 結果は、既存のさまざまなモデル、損失をうまく一般化し、データセット間で有望な転送可能性を持つことを示唆している。
  論文  参考訳（メタデータ） (2021-12-12T04:40:33Z)
• RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
  既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。 本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-15T12:31:27Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。