論文の概要: Modality Unified Attack for Omni-Modality Person Re-Identification
- arxiv url: http://arxiv.org/abs/2501.12761v1
- Date: Wed, 22 Jan 2025 09:54:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-23 16:53:12.554803
- Title: Modality Unified Attack for Omni-Modality Person Re-Identification
- Title（参考訳）: モダリティ統一攻撃によるOmni-Modality Personの再同定
- Authors: Yuan Bian, Min Liu, Yunqi Yi, Xueping Wang, Yunfeng Ma, Yaonan Wang,
- Abstract要約: そこで本研究では,異なるモダリティモデルを攻撃するために,敵対的ジェネレータを訓練するための新しいモダリティ統一攻撃法を提案する。
実験により,本手法は全モードリイドモデルに対して,55.9%,24.4%,49.0%,62.7%のmAP低下率で効果的に攻撃可能であることが示された。
- 参考スコア（独自算出の注目度）: 16.624135145315673
- License:
- Abstract: Deep learning based person re-identification (re-id) models have been widely employed in surveillance systems. Recent studies have demonstrated that black-box single-modality and cross-modality re-id models are vulnerable to adversarial examples (AEs), leaving the robustness of multi-modality re-id models unexplored. Due to the lack of knowledge about the specific type of model deployed in the target black-box surveillance system, we aim to generate modality unified AEs for omni-modality (single-, cross- and multi-modality) re-id models. Specifically, we propose a novel Modality Unified Attack method to train modality-specific adversarial generators to generate AEs that effectively attack different omni-modality models. A multi-modality model is adopted as the surrogate model, wherein the features of each modality are perturbed by metric disruption loss before fusion. To collapse the common features of omni-modality models, Cross Modality Simulated Disruption approach is introduced to mimic the cross-modality feature embeddings by intentionally feeding images to non-corresponding modality-specific subnetworks of the surrogate model. Moreover, Multi Modality Collaborative Disruption strategy is devised to facilitate the attacker to comprehensively corrupt the informative content of person images by leveraging a multi modality feature collaborative metric disruption loss. Extensive experiments show that our MUA method can effectively attack the omni-modality re-id models, achieving 55.9%, 24.4%, 49.0% and 62.7% mean mAP Drop Rate, respectively.
- Abstract（参考訳）: ディープラーニングに基づく人物再識別(re-id)モデルは、監視システムに広く採用されている。
近年の研究では、ブラックボックスの単一モダリティとクロスモダリティのre-idモデルが敵の例(AE)に弱いことが示されており、マルチモダリティのre-idモデルの堅牢性は未調査のままである。
対象のブラックボックス監視システムに展開される特定のタイプのモデルに関する知識が不足しているため,本研究では,モダリティ(単一,クロスモダリティ,マルチモダリティ)のre-idモデルに対して,モダリティを統一したAEを生成することを目指している。
具体的には、モダリティ固有の敵ジェネレータを訓練し、異なるモダリティモデルに効果的に攻撃するAEを生成するための、新しいモダリティ統一攻撃法を提案する。
多モードモデルがサロゲートモデルとして採用され、各モードの特徴は融合前のメートル法破壊損失によって摂動される。
モダリティモデルに共通する特徴を解消するために、クロスモダリティシミュレート・ディスラプション(Cross Modality Simulated Disruption)アプローチを導入し、サロゲートモデルの非対応モダリティ特化サブネットに意図的にイメージを供給することによって、モダリティ特徴の埋め込みを模倣する。
さらに,マルチモーフィナリティ・コラボレーション・ディスラプション戦略を考案し,マルチモーフィナリティ・コラボレーティブ・コラボレーティブ・ディスラプション・ロスを利用して,人物画像の情報を包括的に破壊することを容易にする。
以上の結果から, MUA法は, 平均mAP低下率を55.9%, 24.4%, 49.0%, 62.7%と効果的に抑制できることがわかった。
関連論文リスト
- Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。
これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。
自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-17T14:44:25Z) - Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。
本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。
本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
論文 参考訳（メタデータ） (2024-06-04T06:07:24Z) - All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム
AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。
クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
論文 参考訳（メタデータ） (2024-05-08T01:04:36Z) - MMCert: Provable Defense against Adversarial Attacks to Multi-modal Models [34.802736332993994]
我々は,マルチモーダルモデルに対する敵攻撃に対する最初の認証された防御であるMCCertを提案する。
我々は,マルチモーダル道路セグメンテーションタスクとマルチモーダル道路セグメンテーションタスクと,マルチモーダル感情認識タスクの2つのベンチマークデータセットを用いて,MCCertを評価した。
論文 参考訳（メタデータ） (2024-03-28T01:05:06Z) - Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。
異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
論文 参考訳（メタデータ） (2023-12-18T05:42:31Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - Black-box Adversarial Attacks against Dense Retrieval Models: A
Multi-view Contrastive Learning Method [115.29382166356478]
本稿では,敵探索攻撃(AREA)タスクを紹介する。
DRモデルは、DRモデルによって取得された候補文書の初期セットの外側にあるターゲット文書を取得するように、DRモデルを騙すことを目的としている。
NRM攻撃で報告された有望な結果は、DRモデルに一般化されない。
マルチビュー表現空間における対照的な学習問題として,DRモデルに対する攻撃を形式化する。
論文 参考訳（メタデータ） (2023-08-19T00:24:59Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳（メタデータ） (2023-08-10T08:43:20Z) - Exploiting modality-invariant feature for robust multimodal emotion
recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。
提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文 参考訳（メタデータ） (2022-10-27T12:16:25Z) - Defending Multimodal Fusion Models against Single-Source Adversaries [6.019777076722421]
標準マルチモーダル融合モデルは単一ソースの敵に対して脆弱であることを示す。
単一のモダリティに対する攻撃は、複数の乱れのないモダリティからの正しい情報を克服し、モデルを失敗させる。
この発見に触発され、逆向きに堅牢な核融合戦略を提案する。
論文 参考訳（メタデータ） (2022-06-25T18:57:02Z) - Understanding and Measuring Robustness of Multimodal Learning [14.257147031953211]
MUROANと呼ばれるフレームワークを用いて,マルチモーダル学習の対角的堅牢性を総合的に測定する。
まず、MUROANにおけるマルチモーダルモデルの統一ビューを示し、マルチモーダルモデルの融合機構を鍵となる脆弱性として同定する。
次に,MUROANにおけるデカップリング攻撃(decoupling attack)と呼ばれる,マルチモーダルモデルの妥協を目的とした新しいタイプのマルチモーダル敵攻撃を導入する。
論文 参考訳（メタデータ） (2021-12-22T21:10:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。