論文の概要: EPAM-Net: An Efficient Pose-driven Attention-guided Multimodal Network for Video Action Recognition

• arxiv url: http://arxiv.org/abs/2408.05421v1
• Date: Sat, 10 Aug 2024 03:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-13 19:11:07.028118
• Title: EPAM-Net: An Efficient Pose-driven Attention-guided Multimodal Network for Video Action Recognition
• Title（参考訳）: EPAM-Net:ビデオ行動認識のための効率の良いPose-Driven Attention-Guided Multimodal Network
• Authors: Ahmed Abdelkawy, Asem Ali, Aly Farag,
• Abstract要約: 本稿では,ビデオにおける行動認識のための効果的なポーズ駆動型注意誘導型マルチモーダル行動認識(EPAM-Net)を提案する。 具体的には、RGBビデオとそのスケルトンシーケンスから、ポーズストリームとネットワーク時間特徴の両方にX3Dネットワークを適用した。 我々のモデルはFLOPの6.2-9.9-x削減(浮動小数点演算、乗算加算数)とネットワークパラメータの9-9.6倍削減を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing multimodal-based human action recognition approaches are either computationally expensive, which limits their applicability in real-time scenarios, or fail to exploit the spatial temporal information of multiple data modalities. In this work, we present an efficient pose-driven attention-guided multimodal network (EPAM-Net) for action recognition in videos. Specifically, we adapted X3D networks for both RGB and pose streams to capture spatio-temporal features from RGB videos and their skeleton sequences. Then skeleton features are utilized to help the visual network stream focusing on key frames and their salient spatial regions using a spatial temporal attention block. Finally, the scores of the two streams of the proposed network are fused for final classification. The experimental results show that our method achieves competitive performance on NTU-D 60 and NTU RGB-D 120 benchmark datasets. Moreover, our model provides a 6.2--9.9x reduction in FLOPs (floating-point operation, in number of multiply-adds) and a 9--9.6x reduction in the number of network parameters. The code will be available at https://github.com/ahmed-nady/Multimodal-Action-Recognition.
• Abstract（参考訳）: 既存のマルチモーダルベースのヒューマンアクション認識アプローチは計算コストが高く、リアルタイムシナリオにおける適用性を制限するか、あるいは複数のデータモダリティの空間時間情報を利用することができない。 本研究では,ビデオにおける行動認識のための効果的なポーズ駆動型注意誘導型マルチモーダルネットワーク(EPAM-Net)を提案する。 具体的には、RGBビデオとそのスケルトン配列から時空間的特徴をキャプチャするために、RGBとポーズストリームの両方にX3Dネットワークを適用した。 次に、スケルトンの特徴を利用して、空間的時間的注意ブロックを用いて、キーフレームとその空間的空間領域に焦点を当てた視覚ネットワークストリームを支援する。 最後に、最終的な分類のために、提案するネットワークの2つのストリームのスコアを融合させる。 実験の結果,NTU-D 60 と NTU RGB-D 120 ベンチマークの競合性能が得られた。 さらに,FLOP(浮動小数点演算,乗算加算数)の6.2-9.9倍,ネットワークパラメータの9-9.6倍の削減を実現している。 コードはhttps://github.com/ahmed-nady/Multimodal-Action-Recognitionで入手できる。

関連論文リスト

• Low-Level Matters: An Efficient Hybrid Architecture for Robust Multi-frame Infrared Small Target Detection [5.048364655933007]
  マルチフレーム赤外線小目標検出は、低高度および海洋監視において重要な役割を果たす。 CNNとTransformerを組み合わせたハイブリッドアーキテクチャは、マルチフレームIRSTDの強化に大いに期待できる。 低レベルの機能学習ハイブリッドフレームワークを再定義する,シンプルながら強力なハイブリッドアーキテクチャであるLVNetを提案する。
  論文  参考訳（メタデータ） (2025-03-04T02:53:25Z)
• An Efficient 3D Convolutional Neural Network with Channel-wise, Spatial-grouped, and Temporal Convolutions [3.798710743290466]
  本稿では,ビデオ行動認識のためのシンプルで効率的な3次元畳み込みニューラルネットワークを提案する。 提案するネットワークの性能と効率を,複数のビデオ行動認識データセット上で評価する。
  論文  参考訳（メタデータ） (2025-03-02T08:47:06Z)
• AdaFocusV3: On Unified Spatial-temporal Dynamic Video Recognition [44.10959567844497]
  本稿では,最近提案されたAdaFocusV2アルゴリズム上での時空間力学の統一的な定式化について検討する。 AdaFocusV3は、未分化の収穫操作を深い特徴の計算で近似することにより、効果的に訓練することができる。
  論文  参考訳（メタデータ） (2022-09-27T15:30:52Z)
• A Multi-Stage Duplex Fusion ConvNet for Aerial Scene Classification [4.061135251278187]
  マルチステージ二重核融合ネットワーク (MSDF-Net) を開発した。 MSDF-NetはDFblockを備えた多段構造で構成されている。 広範に使用されている3つの航空シーン分類ベンチマークで実験が行われた。
  論文  参考訳（メタデータ） (2022-03-29T09:27:53Z)
• Action Keypoint Network for Efficient Video Recognition [63.48422805355741]
  本稿では、時間的・空間的な選択をアクションキーポイントネットワーク(AK-Net)に統合することを提案する。 AK-Netは、アクションキーポイントのセットとして任意の形状の領域に散在する情報的ポイントを選択し、ビデオ認識をポイントクラウド分類に変換する。 実験結果から,AK-Netは複数のビデオ認識ベンチマークにおいて,ベースライン手法の効率と性能を一貫して向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-17T09:35:34Z)
• Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
  本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。 2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。 6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-08-18T14:14:22Z)
• ACTION-Net: Multipath Excitation for Action Recognition [22.12530692711095]
  提案したAction-Netに2D CNNを装備し、計算コストを極端に制限したシンプルなACTION-Netを形成する。 ACTION-Netは、3つのバックボーン上で2D CNNよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-03-11T16:23:40Z)
• Time and Frequency Network for Human Action Detection in Videos [6.78349879472022]
  TFNetという,時刻と周波数を同時に考慮したエンドツーエンドネットワークを提案する。 動作パターンを得るには、これら2つの特徴を注目機構の下で深く融合させる。
  論文  参考訳（メタデータ） (2021-03-08T11:42:05Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)
• ACDnet: An action detection network for real-time edge computing based on flow-guided feature approximation and memory aggregation [8.013823319651395]
  ACDnetは、リアルタイムエッジコンピューティングをターゲットとしたコンパクトなアクション検出ネットワークです。 連続するビデオフレーム間の時間的コヒーレンスを利用してCNNの特徴を近似する。 リアルタイム(75FPS)よりはるかに高い精度で検出できる。
  論文  参考訳（メタデータ） (2021-02-26T14:06:31Z)
• MVFNet: Multi-View Fusion Network for Efficient Video Recognition [79.92736306354576]
  分離可能な畳み込みを効率よく利用し,ビデオの複雑さを生かしたマルチビュー融合(MVF)モジュールを提案する。 MVFNetは一般的なビデオモデリングフレームワークと考えることができる。
  論文  参考訳（メタデータ） (2020-12-13T06:34:18Z)
• Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
  わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。 本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T03:06:20Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)
• Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
  CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。 我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2020-07-25T09:07:35Z)
• A Real-time Action Representation with Temporal Encoding and Deep Compression [115.3739774920845]
  動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。 T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。 提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-06-17T06:30:43Z)
• When CNNs Meet Random RNNs: Towards Multi-Level Analysis for RGB-D Object and Scene Recognition [10.796613905980609]
  オブジェクトおよびシーン認識タスクのための多モードRGB-D画像から識別的特徴表現を抽出する新しいフレームワークを提案する。 CNNアクティベーションの高次元性に対応するため、ランダムな重み付けプール方式が提案されている。 実験では、RNNステージにおける完全ランダム化構造がCNNアクティベーションを符号化し、識別的ソリッドな特徴を成功させることを確認した。
  論文  参考訳（メタデータ） (2020-04-26T10:58:27Z)
• Co-Saliency Spatio-Temporal Interaction Network for Person Re-Identification in Videos [85.6430597108455]
  本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。 ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。 CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
  論文  参考訳（メタデータ） (2020-04-10T10:23:58Z)
• Temporal Pyramid Network for Action Recognition [129.12076009042622]
  本稿では,2次元あるいは3次元のバックボーンネットワークに柔軟に統合可能な汎用時間ピラミッドネットワーク(TPN)を提案する。 TPNは、いくつかのアクション認識データセット上で、他の困難なベースラインよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2020-04-07T17:17:23Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。