論文の概要: GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition

• arxiv url: http://arxiv.org/abs/2407.14812v1
• Date: Sat, 20 Jul 2024 09:05:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 20:42:12.747280
• Title: GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition
• Title（参考訳）: GaitMA: 歩行認識のための多モード多機能融合
• Authors: Fanxu Min, Shaoxiang Guo, Fan Hao, Junyu Dong,
• Abstract要約: 歩行認識は、歩行パターンを通して人間の身元を認識する生体計測技術である。 我々は、Gait Multi-model Aggregation Network (GaitMA)と呼ばれる新しい歩行認識フレームワークを提案する。 まず, 2つのCNN特徴抽出器を用いて, シルエットと骨格の特徴を抽出した。
• 参考スコア（独自算出の注目度）: 26.721242606715354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gait recognition is a biometric technology that recognizes the identity of humans through their walking patterns. Existing appearance-based methods utilize CNN or Transformer to extract spatial and temporal features from silhouettes, while model-based methods employ GCN to focus on the special topological structure of skeleton points. However, the quality of silhouettes is limited by complex occlusions, and skeletons lack dense semantic features of the human body. To tackle these problems, we propose a novel gait recognition framework, dubbed Gait Multi-model Aggregation Network (GaitMA), which effectively combines two modalities to obtain a more robust and comprehensive gait representation for recognition. First, skeletons are represented by joint/limb-based heatmaps, and features from silhouettes and skeletons are respectively extracted using two CNN-based feature extractors. Second, a co-attention alignment module is proposed to align the features by element-wise attention. Finally, we propose a mutual learning module, which achieves feature fusion through cross-attention, Wasserstein loss is further introduced to ensure the effective fusion of two modalities. Extensive experimental results demonstrate the superiority of our model on Gait3D, OU-MVLP, and CASIA-B.
• Abstract（参考訳）: 歩行認識は、歩行パターンを通して人間の身元を認識する生体計測技術である。 既存の外観に基づく手法では、CNNやTransformerを用いてシルエットから空間的・時間的特徴を抽出し、モデルベースの手法ではGCNを用いて骨格点の特別な位相構造に焦点を当てている。 しかし、シルエットの品質は複雑な閉塞によって制限され、骨格は人間の体の密接な意味的特徴を欠いている。 これらの問題に対処するため,Gait Multi-model Aggregation Network (GaitMA) と呼ばれる新しい歩行認識フレームワークを提案する。 まず, 2つのCNN特徴抽出器を用いて, シルエットと骨格の特徴を抽出した。 第二に、要素的注意による特徴の整合を図ったアライメントモジュールが提案されている。 最後に,クロスアテンションによる特徴融合を実現する相互学習モジュールを提案する。 以上の結果から,Gait3D,OU-MVLP,CASIA-Bにおけるモデルの有用性が示唆された。

関連論文リスト

• It Takes Two: Accurate Gait Recognition in the Wild via Cross-granularity Alignment [72.75844404617959]
  本稿では,XGait という新しい粒度アライメント歩行認識手法を提案する。 この目的を達成するために、XGaitはまず2つのバックボーンエンコーダの分岐を含み、シルエットシーケンスとパーシングシーケンスを2つの潜在空間にマッピングする。 2つの大規模な歩行データセットの総合的な実験では、ランク1の精度が80.5%、CCPGが88.3%である。
  論文  参考訳（メタデータ） (2024-11-16T08:54:27Z)
• ZipGait: Bridging Skeleton and Silhouette with Diffusion Model for Advancing Gait Recognition [31.732554267037305]
  拡散モデルを用いて, 個々の骨格分布から高密度な体形を復元する試みを初めて行った。 PGI(Perception Gait Integration)を導入し、異なる歩行機能を2段階のプロセスで統合する。 ZipGaitは、クロスドメインとイントラドメインの両方の設定において、最先端のメソッドよりも大きなマージンでパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2024-08-22T03:52:44Z)
• One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching [77.6989219290789]
  ワンショットスケルトン行動認識は、単一のトレーニングサンプルでスケルトン行動認識モデルを学ぶことを目的としている。 本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う新しい一発骨格行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T11:52:10Z)
• Part-aware Prototypical Graph Network for One-shot Skeleton-based Action Recognition [57.86960990337986]
  ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。 単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。 本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
  論文  参考訳（メタデータ） (2022-08-19T04:54:56Z)
• Towards a Deeper Understanding of Skeleton-based Gait Recognition [4.812321790984493]
  近年、ほとんどの歩行認識法は、人のシルエットを使って歩行の特徴を抽出している。 モデルに基づく手法はこれらの問題に悩まされず、身体関節の時間運動を表現することができる。 本研究では,高次入力と残差ネットワークを組み合わせたグラフ畳み込みネットワーク(GCN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-16T18:23:37Z)
• Combining the Silhouette and Skeleton Data for Gait Recognition [13.345465199699]
  2つの主要な歩行認識作品は外観ベースとモデルベースであり、シルエットと骨格からそれぞれ特徴を抽出する。 本稿では, シルエットを入力とするCNN系分岐と, 骨格を入力とするGCN系分岐を提案する。 GCNベースの分岐における歩行表現を改善するため、マルチスケールグラフ畳み込みを統合する完全連結グラフ畳み込み演算子を提案する。
  論文  参考訳（メタデータ） (2022-02-22T03:21:51Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• TNTC: two-stream network with transformer-based complementarity for gait-based emotion recognition [4.9752798133038585]
  歩行に基づく感情認識、特に歩行骨格に基づく特徴は、多くの注目を集めている。 本稿では,TNTCと呼ばれるトランスフォーマーをベースとした新たな2ストリームネットワークを提案する。 2つのストリーム間の相補性を階層的にブリッジするために、新しいトランスフォーマーベースの相補性モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T13:55:31Z)
• Learning Rich Features for Gait Recognition by Integrating Skeletons and Silhouettes [20.766540020533803]
  本稿では,骨格とシルエットの相補的な手がかりをマイニングし,歩行識別のためのリッチな特徴を学習する,単純で効果的なバイモーダル融合ネットワークを提案する。 CASIA-B上を歩行する最も困難な条件下では, ランク1の精度は92.1%である。
  論文  参考訳（メタデータ） (2021-10-26T04:42:24Z)
• Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition [49.163326827954656]
  骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-08-10T09:25:07Z)
• What and Where: Modeling Skeletons from Semantic and Spatial Perspectives for Action Recognition [46.836815779215456]
  本研究では,新しい空間的視点から骨格をモデル化することを提案する。 意味論的観点から,共同関係のモデル化に熟練したトランスフォーマー型ネットワークを提案する。 空間的観点から,スケルトンデータをスパース形式に変換し,効率的な特徴抽出を行う。
  論文  参考訳（メタデータ） (2020-04-07T10:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。