Fugu-MT 論文翻訳(概要): SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification

論文の概要: SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification

arxiv url: http://arxiv.org/abs/2102.12137v1
Date: Wed, 24 Feb 2021 08:57:32 GMT
ステータス: 処理完了
システム内更新日: 2021-02-25 13:31:10.299425
Title: SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification
Title（参考訳）: SFANet:可視赤外人物再識別のためのスペクトラム認識機能拡張ネットワーク
Authors: Haojie Liu, Shun Ma, Daoxun Xia, and Shaozi Li
Abstract要約: クロスモダリティマッチング問題に対するSFANetという新しいスペクトル認識特徴量化ネットワークを提案する。 grayscale-spectrumイメージで学習すると、モダリティの不一致を低減し、内部構造関係を検出することができる。特徴レベルでは、特定および粉砕可能な畳み込みブロックの数のバランスをとることにより、従来の2ストリームネットワークを改善します。
参考スコア（独自算出の注目度）: 12.566284647658053
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Visible-Infrared person re-identification (VI-ReID) is a challenging matching problem due to large modality varitions between visible and infrared images. Existing approaches usually bridge the modality gap with only feature-level constraints, ignoring pixel-level variations. Some methods employ GAN to generate style-consistent images, but it destroys the structure information and incurs a considerable level of noise. In this paper, we explicitly consider these challenges and formulate a novel spectrum-aware feature augementation network named SFANet for cross-modality matching problem. Specifically, we put forward to employ grayscale-spectrum images to fully replace RGB images for feature learning. Learning with the grayscale-spectrum images, our model can apparently reduce modality discrepancy and detect inner structure relations across the different modalities, making it robust to color variations. In feature-level, we improve the conventional two-stream network through balancing the number of specific and sharable convolutional blocks, which preserve the spatial structure information of features. Additionally, a bi-directional tri-constrained top-push ranking loss (BTTR) is embedded in the proposed network to improve the discriminability, which efficiently further boosts the matching accuracy. Meanwhile, we further introduce an effective dual-linear with batch normalization ID embedding method to model the identity-specific information and assits BTTR loss in magnitude stabilizing. On SYSU-MM01 and RegDB datasets, we conducted extensively experiments to demonstrate that our proposed framework contributes indispensably and achieves a very competitive VI-ReID performance.
Abstract（参考訳）: 可視赤外人物再同定(vi-reid)は、可視画像と赤外線画像間の大きなモダリティ変動のため、困難なマッチング問題である。既存のアプローチは通常、ピクセルレベルのバリエーションを無視して、特徴レベルの制約だけでモダリティギャップを橋渡しする。スタイル一貫性のある画像を生成するためにganを用いる方法もあるが、構造情報を破壊し、かなりのレベルのノイズを発生させる。本稿では,これらの課題を明示的に考慮し,クロスモダリティマッチング問題に対するsfanetという,新しいスペクトル認識型特徴表現ネットワークを定式化する。具体的には、機能学習のためのRGBイメージを完全に置き換えるために、グレースケールスペクトル画像の採用を進めます。 grayscale-spectrumの画像から学ぶと、このモデルはモダリティの不一致を減らし、異なるモダリティにまたがる内部構造関係を検知し、色の変化に頑健になる。特徴量レベルでは,特徴の空間構造情報を保存する特定のおよび共有可能な畳み込みブロックの数のバランスをとることにより,従来の2ストリームネットワークを改善する。さらに、提案ネットワークに双方向の三重制約トッププッシュランキング損失(BTTR)が埋め込まれ、識別性が向上し、マッチング精度がさらに向上します。また,バッチ正規化IDを組み込んだ効果的なデュアルリニアを導入し,識別固有情報をモデル化し,BTTRの損失を最大安定化させる。 SYSU-MM01およびRegDBデータセットでは、提案されたフレームワークが無意味に貢献し、非常に競争力のあるVI-ReIDパフォーマンスを達成することを実証するために広範な実験を行った。

関連論文リスト

Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-19T14:24:03Z)
Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
論文参考訳（メタデータ） (2024-01-18T15:56:23Z)
Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
論文参考訳（メタデータ） (2024-01-03T17:11:27Z)
Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文参考訳（メタデータ） (2023-10-11T12:46:11Z)
Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
論文参考訳（メタデータ） (2023-02-02T05:24:50Z)
CycleTrans: Learning Neutral yet Discriminative Features for Visible-Infrared Person Re-Identification [79.84912525821255]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線モダリティ間で同一人物をマッチングするタスクである。既存のVI-ReID手法は主に、特徴識別性を犠牲にして、モダリティを越えて一般的な特徴を学習することに焦点を当てている。ニュートラルかつ差別的な特徴学習のための新しいサイクル構築型ネットワークであるCycleTransを提案する。
論文参考訳（メタデータ） (2022-08-21T08:41:40Z)
Towards Homogeneous Modality Learning and Multi-Granularity Information Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文参考訳（メタデータ） (2022-04-11T03:03:19Z)
CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification [38.96033760300123]
可視赤外人物再識別のための相互モダリティトランスフォーマー法(CMTR) 我々は,モダリティの情報をエンコードするために,トークン埋め込みと融合した新しいモダリティ埋め込みを設計する。提案するCMTRモデルの性能は,既存のCNN方式をはるかに上回っている。
論文参考訳（メタデータ） (2021-10-18T03:12:59Z)
Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
論文参考訳（メタデータ） (2020-12-12T15:39:11Z)
AdaptiveWeighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images [22.26917280683572]
スペクトル再構成のための適応重み付き注意ネットワーク(AWAN)を提案する。 AWCAおよびPSNLモジュールは、チャネルワイドな特徴応答を再配置するために開発された。 NTIRE 2020 Spectral Reconstruction Challengeでは、クリーントラックで1位、リアルワールドで3位を獲得しました。
論文参考訳（メタデータ） (2020-05-19T09:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。