論文の概要: Deep Multimodal Fusion for Generalizable Person Re-identification

• arxiv url: http://arxiv.org/abs/2211.00933v1
• Date: Wed, 2 Nov 2022 07:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 13:28:09.139667
• Title: Deep Multimodal Fusion for Generalizable Person Re-identification
• Title（参考訳）: 一般化された人物再同定のための深層マルチモーダル融合
• Authors: Suncheng Xiang, Hao Chen, Jingsheng Gao, Sijia Du, Jiawang Mou, Ting Liu, Dahong Qian, Yuzhuo Fu
• Abstract要約: DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。 事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。 実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
• 参考スコア（独自算出の注目度）: 15.250738959921872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Person re-identification plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. Recently, leveraging the supervised or semi-unsupervised learning paradigms, which benefits from the large-scale datasets and strong computing performance, has achieved a competitive performance on a specific target domain. However, when Re-ID models are directly deployed in a new domain without target samples, they always suffer from considerable performance degradation and poor domain generalization. To address this challenge, in this paper, we propose DMF, a Deep Multimodal Fusion network for the general scenarios on person re-identification task, where rich semantic knowledge is introduced to assist in feature representation learning during the pre-training stage. On top of it, a multimodal fusion strategy is introduced to translate the data of different modalities into the same feature space, which can significantly boost generalization capability of Re-ID model. In the fine-tuning stage, a realistic dataset is adopted to fine-tine the pre-trained model for distribution alignment with real-world. Comprehensive experiments on benchmarks demonstrate that our proposed method can significantly outperform previous domain generalization or meta-learning methods. Our source code will also be publicly available at https://github.com/JeremyXSC/DMF.
• Abstract（参考訳）: 人物再特定は、公共のセキュリティやビデオ監視における様々な応用のために、現実的なシナリオにおいて重要な役割を果たす。 近年,大規模データセットと強力な計算性能の恩恵を受ける教師付きあるいは半教師なし学習パラダイムを活用することで,特定の対象領域上での競争性能が向上している。 しかし、ターゲットサンプルなしでre-idモデルが新しいドメインに直接デプロイされると、パフォーマンスが著しく低下し、ドメインの一般化が貧弱になる。 この課題に対処するために,本論文では,個人再識別作業における一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークであるDMFを提案する。 その上に、異なるモダリティのデータを同じ特徴空間に翻訳するマルチモーダル融合戦略が導入され、re-idモデルの一般化能力を大幅に高めることができる。 微調整の段階では、実世界の分布アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットを採用する。 ベンチマークにおける包括的実験により,提案手法が従来のドメイン一般化やメタラーニング手法を大きく上回ることを示した。 ソースコードはhttps://github.com/JeremyXSC/DMF.comで公開されます。

関連論文リスト

• Diverse Deep Feature Ensemble Learning for Omni-Domain Generalized Person Re-identification [30.208890289394994]
  Person ReIDメソッドは、異なるデータセット間でトレーニングとテストを行うと、パフォーマンスが大幅に低下する。 本研究は,ドメイン一般化手法が単一データセットのベンチマークにおいて,単一ドメイン管理手法を著しく過小評価していることを明らかにする。 本稿では,自己アンサンブルによる深い特徴の多様性を生かし,ODG-ReIDを実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T02:27:11Z)
• GM-DF: Generalized Multi-Scenario Deepfake Detection [49.072106087564144]
  既存の偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従う。 本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。
  論文  参考訳（メタデータ） (2024-06-28T17:42:08Z)
• SimMMDG: A Simple and Effective Framework for Multi-modal Domain Generalization [13.456240733175767]
  SimMMDGは、マルチモーダルシナリオにおけるドメインの一般化を実現する上での課題を克服するためのフレームワークである。 我々は,共同性を確保し,距離制約を課すために,モダリティ共有特徴に対する教師付きコントラスト学習を採用する。 本研究では,EPIC-KitchensデータセットとHuman-Animal-CartoonデータセットのマルチモーダルDGにおいて,理論的に支持され,高い性能を実現している。
  論文  参考訳（メタデータ） (2023-10-30T17:58:09Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Domain Generalization for Activity Recognition via Adaptive Feature Fusion [9.458837222079612]
  本稿では,emphAdaptive Feature Fusion for Activity Recognition (AFFAR)を提案する。 AFFARは、モデルの一般化性能を改善するために、ドメイン不変表現とドメイン固有表現を融合することを学ぶ。 AFARを実際の応用、すなわち子どもの注意欠陥性高活動障害(ADHD)の診断に適用する。
  論文  参考訳（メタデータ） (2022-07-21T02:14:09Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• Semi-Supervised Domain Generalizable Person Re-Identification [74.75528879336576]
  既存の人物の再識別(re-id)メソッドは、新しい目に見えないシナリオにデプロイされると立ち往生する。 近年,新たなシナリオにおける未ラベルの広範なデータをトランスダクティブ学習方式で活用するドメイン適応型人物再認識への取り組みが進められている。 我々は、複数のラベル付きデータセットを探索し、人物の再識別のための一般化されたドメイン不変表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-08-11T06:08:25Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)
• Multi-Domain Adversarial Feature Generalization for Person Re-Identification [52.835955258959785]
  マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。 複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。 また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
  論文  参考訳（メタデータ） (2020-11-25T08:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。