論文の概要: Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data

• arxiv url: http://arxiv.org/abs/2211.11925v1
• Date: Tue, 22 Nov 2022 00:29:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 16:42:54.587425
• Title: Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data
• Title（参考訳）: 故障データを用いた視覚赤外人物ReIDのためのマルチモーダルデータ拡張
• Authors: Arthur Josi, Mahdi Alehdaghi, Rafael M. O. Cruz, Eric Granger
• Abstract要約: 本稿では,V-I人物ReIDモデルのためのDA戦略を提案する。 我々の戦略は、深い人物のReIDモデルの精度に対する汚職の影響を減らすことができる。 以上の結果から,V-I ReIDモデルでは,共有知識と個別モダリティ知識の両方を活用できることが示唆された。
• 参考スコア（独自算出の注目度）: 10.816003787786766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The re-identification (ReID) of individuals over a complex network of cameras is a challenging task, especially under real-world surveillance conditions. Several deep learning models have been proposed for visible-infrared (V-I) person ReID to recognize individuals from images captured using RGB and IR cameras. However, performance may decline considerably if RGB and IR images captured at test time are corrupted (e.g., noise, blur, and weather conditions). Although various data augmentation (DA) methods have been explored to improve the generalization capacity, these are not adapted for V-I person ReID. In this paper, a specialized DA strategy is proposed to address this multimodal setting. Given both the V and I modalities, this strategy allows to diminish the impact of corruption on the accuracy of deep person ReID models. Corruption may be modality-specific, and an additional modality often provides complementary information. Our multimodal DA strategy is designed specifically to encourage modality collaboration and reinforce generalization capability. For instance, punctual masking of modalities forces the model to select the informative modality. Local DA is also explored for advanced selection of features within and among modalities. The impact of training baseline fusion models for V-I person ReID using the proposed multimodal DA strategy is assessed on corrupted versions of the SYSU-MM01, RegDB, and ThermalWORLD datasets in terms of complexity and efficiency. Results indicate that using our strategy provides V-I ReID models the ability to exploit both shared and individual modality knowledge so they can outperform models trained with no or unimodal DA. GitHub code: https://github.com/art2611/ML-MDA.
• Abstract（参考訳）: 複雑なカメラネットワーク上の個人の再識別(ReID)は、特に現実世界の監視条件下では難しい課題である。 RGBと赤外線カメラで撮影された画像から個人を認識するために、可視赤外線(V-I)人物ReIDに対して、いくつかのディープラーニングモデルが提案されている。 しかし、RGB や IR 画像がテスト時に劣化した場合(ノイズ、ぼかし、気象条件など)、性能は著しく低下する可能性がある。 一般化能力を向上させるために様々なデータ拡張(DA)手法が検討されているが、これらはV-I人物ReIDには適用されない。 本稿では,このマルチモーダル設定に対処するためのDA戦略を提案する。 VとIの両方のモダリティを考えると、この戦略は深い人物のReIDモデルの精度に対する腐敗の影響を減らすことができる。 腐敗はモダリティ特有のものであり、追加のモダリティはしばしば補完的な情報を提供する。 我々のマルチモーダルDA戦略は、モダリティコラボレーションを促進し、一般化能力を強化するために特別に設計されている。 例えば、モダリティの時間的マスキングは、モデルに情報的モダリティを選択するよう強制する。 ローカルdaは、モダリティ内とモダリティ間の機能の選択の高度化も検討されている。 SYSU-MM01, RegDB, ThermalWORLDデータセットの劣化バージョンに基づいて, 複雑度と効率性の観点から, マルチモーダルDA戦略を用いたV-I人物ReIDのトレーニングベースライン融合モデルの影響を評価した。 結果から,v-i reidモデルでは共有モダリティ知識と個人モダリティ知識の両方を活用でき,noやunimodal daでトレーニングされたモデルよりも優れることがわかった。 GitHubコード:https://github.com/art2611/ML-MDA。

関連論文リスト

• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
  相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。 既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。 本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:56:23Z)
• Dynamic Enhancement Network for Partial Multi-modality Person Re-identification [52.70235136651996]
  複数のモーダルの表現能力を維持しつつ、任意のモダリティを欠くことができる新しい動的拡張ネットワーク(DENet)を設計する。 欠落状態は変更可能であるため、動的拡張モジュールを設計し、欠落状態に応じて動的にモダリティ特性を適応的に向上する。
  論文  参考訳（メタデータ） (2023-05-25T06:22:01Z)
• Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data [10.816003787786766]
  V-I ReID (Visible-infrared person re-identification) は、RGBとIRカメラの分散ネットワーク上で撮影された個人の画像と一致する。 最先端のV-I ReIDモデルは、劣化したモダリティ情報を利用して高い精度を維持することはできない。 劣化したマルチモーダル画像に対するロバスト性を改善するために,モダリティ固有の知識を保ったマルチモーダルV-I ReIDの効率的なモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-29T18:18:59Z)
• Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification [27.75907274034702]
  我々は,能率VI-ReIDのためのPMT(Progressive Modality-Shared Transformer)という新しいディープラーニングフレームワークを提案する。 モダリティギャップの負の効果を低減するために、まず、グレースケールの画像を補助的なモダリティとして捉え、進歩的な学習戦略を提案する。 クラス内差が大きく,クラス間差が少ない問題に対処するために,識別中心損失を提案する。
  論文  参考訳（メタデータ） (2022-12-01T02:20:16Z)
• Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification [35.55895776505113]
  マルチスケールパートアウェアカスケードフレームワーク(MSPAC)は、マルチスケールの細かい機能を部分からグローバルに集約することによって策定されます。 したがって、クロスモダリティ相関は、特徴的モダリティ不変な特徴学習のための顕著な特徴を効率的に探索することができる。
  論文  参考訳（メタデータ） (2020-12-12T15:39:11Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)
• Cross-Resolution Adversarial Dual Network for Person Re-Identification and Beyond [59.149653740463435]
  人物再識別(re-ID)は、同一人物の画像をカメラビューでマッチングすることを目的としている。 カメラと関心のある人の距離が異なるため、解像度ミスマッチが期待できる。 本稿では,クロスレゾリューションな人物のリIDに対処する新たな生成的対向ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T07:21:38Z)
• Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
  異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。 我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。 実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。