論文の概要: Dynamic Enhancement Network for Partial Multi-modality Person Re-identification

• arxiv url: http://arxiv.org/abs/2305.15762v1
• Date: Thu, 25 May 2023 06:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 16:53:16.719224
• Title: Dynamic Enhancement Network for Partial Multi-modality Person Re-identification
• Title（参考訳）: 部分的マルチモーダル人物識別のための動的強化ネットワーク
• Authors: Aihua Zheng, Ziling He, Zi Wang, Chenglong Li, Jin Tang
• Abstract要約: 複数のモーダルの表現能力を維持しつつ、任意のモダリティを欠くことができる新しい動的拡張ネットワーク(DENet)を設計する。 欠落状態は変更可能であるため、動的拡張モジュールを設計し、欠落状態に応じて動的にモダリティ特性を適応的に向上する。
• 参考スコア（独自算出の注目度）: 52.70235136651996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing multi-modality studies are based on the assumption of modality integrity. However, the problem of missing arbitrary modalities is very common in real life, and this problem is less studied, but actually important in the task of multi-modality person re-identification (Re-ID). To this end, we design a novel dynamic enhancement network (DENet), which allows missing arbitrary modalities while maintaining the representation ability of multiple modalities, for partial multi-modality person Re-ID. To be specific, the multi-modal representation of the RGB, near-infrared (NIR) and thermal-infrared (TIR) images is learned by three branches, in which the information of missing modalities is recovered by the feature transformation module. Since the missing state might be changeable, we design a dynamic enhancement module, which dynamically enhances modality features according to the missing state in an adaptive manner, to improve the multi-modality representation. Extensive experiments on multi-modality person Re-ID dataset RGBNT201 and vehicle Re-ID dataset RGBNT100 comparing to the state-of-the-art methods verify the effectiveness of our method in complex and changeable environments.
• Abstract（参考訳）: 多くの既存のマルチモダリティ研究はモダリティ完全性の仮定に基づいている。 しかしながら、任意のモダリティを欠く問題は実生活において非常にありふれた問題であり、この問題はあまり研究されていないが、実際にはマルチモダリティの人物再同定(re-id)のタスクにおいて重要である。 そこで本研究では,複数のモダリティの表現能力を維持しつつ任意のモダリティを欠くことができる新しい動的拡張ネットワーク (denet) を設計した。 具体的には、RGBのマルチモーダル表現、近赤外(NIR)、熱赤外(TIR)画像を3つのブランチで学習し、欠落したモダリティの情報を特徴変換モジュールで検索する。 欠落状態が変更可能である可能性があるため、動的拡張モジュールを設計し、欠落状態に応じて動的にモダリティ特性を適応的に拡張し、マルチモダリティ表現を改善する。 マルチモダリティの人物であるRe-IDデータセットRGBNT201と車両Re-IDデータセットRGBNT100に対する大規模な実験により, 複雑で変更可能な環境における手法の有効性が検証された。

関連論文リスト

• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification [64.36210786350568]
  マルチモーダルオブジェクトReIDのための視覚変換器から多様なトークンを選択するための,textbfEDITORという新しい学習フレームワークを提案する。 我々のフレームワークはマルチモーダルオブジェクトReIDに対してより差別的な機能を生成することができる。
  論文  参考訳（メタデータ） (2024-03-15T12:44:35Z)
• Modality Unifying Network for Visible-Infrared Person Re-Identification [24.186989535051623]
  Visible-infrared person re-identification (VI-ReID) は、異種間の大きな相違とクラス内変異のために難しい課題である。 既存の手法は主に、異なるモダリティを同じ特徴空間に埋め込むことで、モダリティ共有表現を学習することに焦点を当てている。 そこで我々は,VI-ReID の頑健な補助モダリティを探索するために,新しいモダリティ統一ネットワーク (MUN) を提案する。
  論文  参考訳（メタデータ） (2023-09-12T14:22:22Z)
• Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data [10.816003787786766]
  V-I ReID (Visible-infrared person re-identification) は、RGBとIRカメラの分散ネットワーク上で撮影された個人の画像と一致する。 最先端のV-I ReIDモデルは、劣化したモダリティ情報を利用して高い精度を維持することはできない。 劣化したマルチモーダル画像に対するロバスト性を改善するために,モダリティ固有の知識を保ったマルチモーダルV-I ReIDの効率的なモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-29T18:18:59Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data [10.816003787786766]
  本稿では,V-I人物ReIDモデルのためのDA戦略を提案する。 我々の戦略は、深い人物のReIDモデルの精度に対する汚職の影響を減らすことができる。 以上の結果から,V-I ReIDモデルでは,共有知識と個別モダリティ知識の両方を活用できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-22T00:29:55Z)
• CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification [38.96033760300123]
  可視赤外人物再識別のための相互モダリティトランスフォーマー法(CMTR) 我々は,モダリティの情報をエンコードするために,トークン埋め込みと融合した新しいモダリティ埋め込みを設計する。 提案するCMTRモデルの性能は,既存のCNN方式をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-10-18T03:12:59Z)
• Accurate and Lightweight Image Super-Resolution with Model-Guided Deep Unfolding Network [63.69237156340457]
  我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。 MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。 RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2020-09-14T08:23:37Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。