論文の概要: EPAM-Net: An Efficient Pose-driven Attention-guided Multimodal Network for Video Action Recognition

• arxiv url: http://arxiv.org/abs/2408.05421v2
• Date: Thu, 20 Mar 2025 15:21:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:36.770588
• Title: EPAM-Net: An Efficient Pose-driven Attention-guided Multimodal Network for Video Action Recognition
• Title（参考訳）: EPAM-Net:ビデオ行動認識のための効率の良いPose-Driven Attention-Guided Multimodal Network
• Authors: Ahmed Abdelkawy, Asem Ali, Aly Farag,
• Abstract要約: ポーズ駆動型注意誘導型マルチモーダルネットワーク(EPAM-Net)をビデオの認識のために提案する。 提案されたEPA-MNetは、浮動小数点演算(FLOP)の最大72.8倍、ネットワークパラメータの最大48.6倍の削減を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Existing multimodal-based human action recognition approaches are computationally intensive, limiting their deployment in real-time applications. In this work, we present a novel and efficient pose-driven attention-guided multimodal network (EPAM-Net) for action recognition in videos. Specifically, we propose eXpand temporal Shift (X-ShiftNet) convolutional architectures for RGB and pose streams to capture spatio-temporal features from RGB videos and their skeleton sequences. The X-ShiftNet tackles the high computational cost of the 3D CNNs by integrating the Temporal Shift Module (TSM) into an efficient 2D CNN, enabling efficient spatiotemporal learning. Then skeleton features are utilized to guide the visual network stream, focusing on keyframes and their salient spatial regions using the proposed spatial-temporal attention block. Finally, the predictions of the two streams are fused for final classification. The experimental results show that our method, with a significant reduction in floating-point operations (FLOPs), outperforms and competes with the state-of-the-art methods on NTU RGB-D 60, NTU RGB-D 120, PKU-MMD, and Toyota SmartHome datasets. The proposed EPAM-Net provides up to a 72.8x reduction in FLOPs and up to a 48.6x reduction in the number of network parameters. The code will be available at https://github.com/ahmed-nady/Multimodal-Action-Recognition.
• Abstract（参考訳）: 既存のマルチモーダルベースのヒューマンアクション認識アプローチは計算集約的であり、リアルタイムアプリケーションへの展開を制限している。 本研究では,ビデオにおける行動認識のための新しい,ポーズ駆動型注意誘導型マルチモーダルネットワーク(EPAM-Net)を提案する。 具体的には,RGB 用 eXpand temporal Shift (X-ShiftNet) 畳み込みアーキテクチャを提案する。 X-ShiftNetは、TSM(Temporal Shift Module)を効率的な2D CNNに統合することで、3D CNNの高計算コストに取り組む。 次に, 提案した空間的注意ブロックを用いて, キーフレームとその空間的空間領域に着目し, 視覚的ネットワークストリームを誘導するスケルトンの特徴を利用する。 最後に、2つのストリームの予測は最終分類のために融合される。 実験の結果,本手法は浮動小数点演算(FLOP)を大幅に削減し,NTU RGB-D 60,NTU RGB-D 120,PKU-MMD,Toyota SmartHomeデータセットの最先端手法と競合することがわかった。 提案されたEPAM-Netは、FLOPの最大72.8倍、ネットワークパラメータの最大48.6倍の削減を提供する。 コードはhttps://github.com/ahmed-nady/Multimodal-Action-Recognitionで入手できる。

関連論文リスト

• AdaFocusV3: On Unified Spatial-temporal Dynamic Video Recognition [44.10959567844497]
  本稿では,最近提案されたAdaFocusV2アルゴリズム上での時空間力学の統一的な定式化について検討する。 AdaFocusV3は、未分化の収穫操作を深い特徴の計算で近似することにより、効果的に訓練することができる。
  論文  参考訳（メタデータ） (2022-09-27T15:30:52Z)
• A Multi-Stage Duplex Fusion ConvNet for Aerial Scene Classification [4.061135251278187]
  マルチステージ二重核融合ネットワーク (MSDF-Net) を開発した。 MSDF-NetはDFblockを備えた多段構造で構成されている。 広範に使用されている3つの航空シーン分類ベンチマークで実験が行われた。
  論文  参考訳（メタデータ） (2022-03-29T09:27:53Z)
• Action Keypoint Network for Efficient Video Recognition [63.48422805355741]
  本稿では、時間的・空間的な選択をアクションキーポイントネットワーク(AK-Net)に統合することを提案する。 AK-Netは、アクションキーポイントのセットとして任意の形状の領域に散在する情報的ポイントを選択し、ビデオ認識をポイントクラウド分類に変換する。 実験結果から,AK-Netは複数のビデオ認識ベンチマークにおいて,ベースライン手法の効率と性能を一貫して向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-17T09:35:34Z)
• Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
  本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。 2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。 6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-08-18T14:14:22Z)
• Time and Frequency Network for Human Action Detection in Videos [6.78349879472022]
  TFNetという,時刻と周波数を同時に考慮したエンドツーエンドネットワークを提案する。 動作パターンを得るには、これら2つの特徴を注目機構の下で深く融合させる。
  論文  参考訳（メタデータ） (2021-03-08T11:42:05Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)
• Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
  わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。 本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T03:06:20Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)
• Co-Saliency Spatio-Temporal Interaction Network for Person Re-Identification in Videos [85.6430597108455]
  本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。 ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。 CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
  論文  参考訳（メタデータ） (2020-04-10T10:23:58Z)
• Temporal Pyramid Network for Action Recognition [129.12076009042622]
  本稿では,2次元あるいは3次元のバックボーンネットワークに柔軟に統合可能な汎用時間ピラミッドネットワーク(TPN)を提案する。 TPNは、いくつかのアクション認識データセット上で、他の困難なベースラインよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2020-04-07T17:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。