論文の概要: Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data

• arxiv url: http://arxiv.org/abs/2305.00320v1
• Date: Sat, 29 Apr 2023 18:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 15:53:33.789770
• Title: Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data
• Title（参考訳）: 腐敗したマルチモーダルデータを用いた実世界サーベイランスにおける近赤外人物認証の融合
• Authors: Arthur Josi, Mahdi Alehdaghi, Rafael M. O. Cruz, Eric Granger
• Abstract要約: V-I ReID (Visible-infrared person re-identification) は、RGBとIRカメラの分散ネットワーク上で撮影された個人の画像と一致する。 最先端のV-I ReIDモデルは、劣化したモダリティ情報を利用して高い精度を維持することはできない。 劣化したマルチモーダル画像に対するロバスト性を改善するために,モダリティ固有の知識を保ったマルチモーダルV-I ReIDの効率的なモデルを提案する。
• 参考スコア（独自算出の注目度）: 10.816003787786766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visible-infrared person re-identification (V-I ReID) seeks to match images of individuals captured over a distributed network of RGB and IR cameras. The task is challenging due to the significant differences between V and I modalities, especially under real-world conditions, where images are corrupted by, e.g, blur, noise, and weather. Indeed, state-of-art V-I ReID models cannot leverage corrupted modality information to sustain a high level of accuracy. In this paper, we propose an efficient model for multimodal V-I ReID -- named Multimodal Middle Stream Fusion (MMSF) -- that preserves modality-specific knowledge for improved robustness to corrupted multimodal images. In addition, three state-of-art attention-based multimodal fusion models are adapted to address corrupted multimodal data in V-I ReID, allowing to dynamically balance each modality importance. Recently, evaluation protocols have been proposed to assess the robustness of ReID models under challenging real-world scenarios. However, these protocols are limited to unimodal V settings. For realistic evaluation of multimodal (and cross-modal) V-I person ReID models, we propose new challenging corrupted datasets for scenarios where V and I cameras are co-located (CL) and not co-located (NCL). Finally, the benefits of our Masking and Local Multimodal Data Augmentation (ML-MDA) strategy are explored to improve the robustness of ReID models to multimodal corruption. Our experiments on clean and corrupted versions of the SYSU-MM01, RegDB, and ThermalWORLD datasets indicate the multimodal V-I ReID models that are more likely to perform well in real-world operational conditions. In particular, our ML-MDA is an important strategy for a V-I person ReID system to sustain high accuracy and robustness when processing corrupted multimodal images. Also, our multimodal ReID model MMSF outperforms every method under CL and NCL camera scenarios.
• Abstract（参考訳）: V-I ReID (Visible-infrared person re-identification) は、RGBとIRカメラの分散ネットワーク上で撮影された個人の画像と一致する。 vモードとiモードの大きな違い、特に実世界の状況下では、画像がぼやけ、ノイズ、天気によって腐敗しているため、この課題は困難である。 実際、最先端のV-I ReIDモデルは、破損したモダリティ情報を利用して高い精度を維持することはできない。 本稿では,マルチモーダル画像に対するロバスト性を改善するために,モダリティ固有の知識を保持するマルチモーダル中間流融合(mmsf)と呼ばれるマルチモーダルv-iリードの効率的なモデルを提案する。 さらに、3つの最先端の注意に基づくマルチモーダル融合モデルを用いて、v-i reidの破損したマルチモーダルデータに対処する。 近年,現実シナリオにおけるReIDモデルの堅牢性を評価するための評価プロトコルが提案されている。 しかしながら、これらのプロトコルはunimodal V設定に限られている。 マルチモーダル(およびクロスモーダル)のV-I人物ReIDモデルの現実的な評価のために,VとIカメラが共位置(CL)であり、共位置(NCL)ではないシナリオを対象とした,新しい挑戦的破損データセットを提案する。 最後に、マルチモーダル汚職に対するReIDモデルの堅牢性を改善するため、我々のMasking and Local Multimodal Data Augmentation(ML-MDA)戦略の利点を検討する。 SYSU-MM01, RegDB, および ThermalWORLD データセットのクリーンで破損したバージョンについて実験した結果, 実世界の運用条件下では良好に動作しそうなマルチモーダル V-I ReID モデルが得られた。 特に,我々のML-MDAは,劣化したマルチモーダル画像を処理する際の高精度かつ堅牢性を維持するために,V-I人物ReIDシステムにとって重要な戦略である。 また,マルチモーダル ReID モデル MMSF は,CL と NCL のカメラシナリオ下での全手法より優れている。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
  本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。 我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。 実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Cross-Modality Perturbation Synergy Attack for Person Re-identification [66.48494594909123]
  相互モダリティReIDの主な課題は、異なるモダリティ間の視覚的差異を効果的に扱うことである。 既存の攻撃方法は、目に見える画像のモダリティの特徴に主に焦点を当てている。 本研究では,クロスモーダルReIDに特化して設計されたユニバーサル摂動攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:56:23Z)
• Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI Super-resolution and Reconstruction [23.779641808300596]
  最適化アルゴリズムの指導の下で,マルチコントラスト畳み込み辞書(MC-CDic)モデルを提案する。 近似勾配アルゴリズムを用いてモデルを最適化し、反復的なステップを深部CDicモデルに展開する。 実験により,既存のSOTA法に対して提案したMC-CDicモデルの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2023-09-03T13:18:59Z)
• Dynamic Enhancement Network for Partial Multi-modality Person Re-identification [52.70235136651996]
  複数のモーダルの表現能力を維持しつつ、任意のモダリティを欠くことができる新しい動的拡張ネットワーク(DENet)を設計する。 欠落状態は変更可能であるため、動的拡張モジュールを設計し、欠落状態に応じて動的にモダリティ特性を適応的に向上する。
  論文  参考訳（メタデータ） (2023-05-25T06:22:01Z)
• FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
  本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。 FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。 実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-05T04:28:48Z)
• Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification [27.75907274034702]
  我々は,能率VI-ReIDのためのPMT(Progressive Modality-Shared Transformer)という新しいディープラーニングフレームワークを提案する。 モダリティギャップの負の効果を低減するために、まず、グレースケールの画像を補助的なモダリティとして捉え、進歩的な学習戦略を提案する。 クラス内差が大きく,クラス間差が少ない問題に対処するために,識別中心損失を提案する。
  論文  参考訳（メタデータ） (2022-12-01T02:20:16Z)
• Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data [10.816003787786766]
  本稿では,V-I人物ReIDモデルのためのDA戦略を提案する。 我々の戦略は、深い人物のReIDモデルの精度に対する汚職の影響を減らすことができる。 以上の結果から,V-I ReIDモデルでは,共有知識と個別モダリティ知識の両方を活用できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-22T00:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。