論文の概要: Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter
- arxiv url: http://arxiv.org/abs/2407.19981v1
- Date: Mon, 29 Jul 2024 13:15:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 13:46:37.884526
- Title: Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter
- Title（参考訳）: RGB-Skeleton 行動認識における対向的ロバスト性:注意モダリティの軽減
- Authors: Chao Liu, Xin Liu, Zitong Yu, Yonghong Hou, Huanjing Yue, Jingyu Yang,
- Abstract要約: RGB-スケルトン行動認識モデルのロバスト性を改善する方法について述べる。
本稿では,formatwordAMR(formatwordAttention-based formatwordModality formatwordReweighter)を提案する。
私たちのAMRはプラグアンドプレイで、マルチモーダルモデルと簡単に統合できます。
- 参考スコア（独自算出の注目度）: 32.64004722423187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have been applied in many computer vision tasks and achieved state-of-the-art (SOTA) performance. However, misclassification will occur when DNNs predict adversarial examples which are created by adding human-imperceptible adversarial noise to natural examples. This limits the application of DNN in security-critical fields. In order to enhance the robustness of models, previous research has primarily focused on the unimodal domain, such as image recognition and video understanding. Although multi-modal learning has achieved advanced performance in various tasks, such as action recognition, research on the robustness of RGB-skeleton action recognition models is scarce. In this paper, we systematically investigate how to improve the robustness of RGB-skeleton action recognition models. We initially conducted empirical analysis on the robustness of different modalities and observed that the skeleton modality is more robust than the RGB modality. Motivated by this observation, we propose the \formatword{A}ttention-based \formatword{M}odality \formatword{R}eweighter (\formatword{AMR}), which utilizes an attention layer to re-weight the two modalities, enabling the model to learn more robust features. Our AMR is plug-and-play, allowing easy integration with multimodal models. To demonstrate the effectiveness of AMR, we conducted extensive experiments on various datasets. For example, compared to the SOTA methods, AMR exhibits a 43.77\% improvement against PGD20 attacks on the NTU-RGB+D 60 dataset. Furthermore, it effectively balances the differences in robustness between different modalities.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くのコンピュータビジョンタスクに適用され、最先端(SOTA)のパフォーマンスを達成した。
しかし、DNNが自然の例に人間に知覚できない敵のノイズを加えることによって生じる敵の例を予測すると、誤分類が起こる。
これにより、セキュリティクリティカルな分野におけるDNNの適用が制限される。
モデルの堅牢性を高めるため,従来の研究は画像認識や映像理解といった一助的な領域に重点を置いてきた。
マルチモーダル学習は行動認識などの様々なタスクにおいて高度な性能を達成しているが、RGB-スケルトン行動認識モデルの堅牢性に関する研究は少ない。
本稿では,RGB-スケルトン行動認識モデルのロバスト性向上手法を体系的に検討する。
当初,異なるモダリティのロバスト性について実証分析を行い,RGBモダリティよりも骨格のモダリティが頑健であることを示した。
本研究の目的は,2つのモダリティを再重み付けするアテンション層を利用して,より堅牢な特徴を学習できる,義語{A}ttention-based \formatword{M}odality \formatword{R}eweighter (\formatword{AMR})を提案することである。
私たちのAMRはプラグアンドプレイで、マルチモーダルモデルと簡単に統合できます。
AMRの有効性を実証するため,様々なデータセットについて広範な実験を行った。
例えば、SOTA法と比較して、AMRはNTU-RGB+D 60データセットに対するPGD20攻撃に対して43.77\%改善されている。
さらに、異なるモダリティ間のロバスト性の違いを効果的にバランスさせる。
関連論文リスト
- Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition [13.593511876719367]
教師なし表現学習のための新しい骨格ベース等等化生成モデル(IGM)を提案する。
ベンチマークデータセットであるNTU RGB+DとPKUMMDに関する実験により,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-10-27T06:29:04Z) - Multi-Modality Co-Learning for Efficient Skeleton-based Action Recognition [12.382193259575805]
本稿では,効率的な骨格に基づく行動認識のための多モード協調学習(MMCL)フレームワークを提案する。
MMCLフレームワークは,トレーニング期間中に多要素協調学習を行い,推論に簡潔な骨格のみを用いることで効率を向上する。
論文 参考訳（メタデータ） (2024-07-22T15:16:47Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Black-box Adversarial Attacks against Dense Retrieval Models: A
Multi-view Contrastive Learning Method [115.29382166356478]
本稿では,敵探索攻撃(AREA)タスクを紹介する。
DRモデルは、DRモデルによって取得された候補文書の初期セットの外側にあるターゲット文書を取得するように、DRモデルを騙すことを目的としている。
NRM攻撃で報告された有望な結果は、DRモデルに一般化されない。
マルチビュー表現空間における対照的な学習問題として,DRモデルに対する攻撃を形式化する。
論文 参考訳（メタデータ） (2023-08-19T00:24:59Z) - Mutual Information Regularization for Weakly-supervised RGB-D Salient
Object Detection [33.210575826086654]
弱教師付きRGB-Dサルエント物体検出モデルを提案する。
モーダル相互情報正規化による効果的なマルチモーダル表現学習に着目した。
論文 参考訳（メタデータ） (2023-06-06T12:36:57Z) - Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person
Re-Identification [208.1227090864602]
Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。
既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。
そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
論文 参考訳（メタデータ） (2020-07-18T03:08:13Z) - Bifurcated backbone strategy for RGB-D salient object detection [168.19708737906618]
我々は、RGB-Dの高次物体検出に固有のマルチモーダル・マルチレベルの性質を活用して、新しいカスケードリファインメントネットワークを考案する。
アーキテクチャは Bifurcated Backbone Strategy Network (BBS-Net) と呼ばれ、シンプルで効率的でバックボーンに依存しない。
論文 参考訳（メタデータ） (2020-07-06T13:01:30Z) - Skeleton Focused Human Activity Recognition in RGB Video [11.521107108725188]
骨格とRGBの両モードを併用したマルチモーダル特徴融合モデルを提案する。
モデルは、エンドツーエンドの方法で、バックプロパゲーションアルゴリズムによって個別または均一にトレーニングすることができる。
論文 参考訳（メタデータ） (2020-04-29T06:40:42Z) - Modality Compensation Network: Cross-Modal Adaptation for Action
Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。
我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-01-31T04:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。