論文の概要: GaitSTR: Gait Recognition with Sequential Two-stream Refinement
- arxiv url: http://arxiv.org/abs/2404.02345v1
- Date: Tue, 2 Apr 2024 22:39:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 19:09:09.806011
- Title: GaitSTR: Gait Recognition with Sequential Two-stream Refinement
- Title（参考訳）: GaitSTR: 連続した2ストリームリファインメントによる歩行認識
- Authors: Wanrong Zheng, Haidong Zhu, Zhaoheng Zheng, Ram Nevatia,
- Abstract要約: 歩行認識は、歩行シーケンスに基づいて人物を特定することを目的としており、バイオメトリック・モダリティとして有用である。
人の歩行シーケンスを表す場合、シルエットと骨格は2つの主要なモダリティである。
シルエットとともに歩行認識のための骨格の2列表現について検討する。
- 参考スコア（独自算出の注目度）: 12.256802601846749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gait recognition aims to identify a person based on their walking sequences, serving as a useful biometric modality as it can be observed from long distances without requiring cooperation from the subject. In representing a person's walking sequence, silhouettes and skeletons are the two primary modalities used. Silhouette sequences lack detailed part information when overlapping occurs between different body segments and are affected by carried objects and clothing. Skeletons, comprising joints and bones connecting the joints, provide more accurate part information for different segments; however, they are sensitive to occlusions and low-quality images, causing inconsistencies in frame-wise results within a sequence. In this paper, we explore the use of a two-stream representation of skeletons for gait recognition, alongside silhouettes. By fusing the combined data of silhouettes and skeletons, we refine the two-stream skeletons, joints, and bones through self-correction in graph convolution, along with cross-modal correction with temporal consistency from silhouettes. We demonstrate that with refined skeletons, the performance of the gait recognition model can achieve further improvement on public gait recognition datasets compared with state-of-the-art methods without extra annotations.
- Abstract（参考訳）: 歩行認識は歩行シーケンスに基づいて人物を特定することを目的としており、被験者との協調を必要とせず、遠くから観察できるため、有用な生体情報モダリティとして機能する。
人の歩行シーケンスを表す場合、シルエットと骨格は2つの主要なモダリティである。
シルエットシーケンスは、異なる身体セグメント間で重なり合うときに詳細な部分情報がなく、搬送物や衣服の影響を受けます。
関節と関節を繋ぐ骨からなる骨格は、異なるセグメントに対してより正確な部分情報を提供するが、それらは閉塞や低画質の画像に敏感であり、シーケンス内のフレームワイドの結果に矛盾をもたらす。
本稿では,シルエットとともに歩行認識にスケルトンを2列に表現する手法について検討する。
シルエットと骨格の複合データを融合させることにより、シルエットからの時間的整合性を伴うクロスモーダル補正とともに、グラフ畳み込みの自己補正を通じて、2列の骨格、関節、骨を精製する。
改良された骨格では, 歩行認識モデルの性能が, 付加アノテーションのない最先端手法と比較して, 公共歩行認識データセットのさらなる改善を達成できることを実証した。
関連論文リスト
- SkateFormer: Skeletal-Temporal Transformer for Human Action Recognition [25.341177384559174]
我々はSkateFormer(SkateFormer)と呼ばれる新しい手法を提案する。
SkateFormerは、さまざまなタイプの骨格と時間の関係に基づいて関節とフレームを分割する。
アクション適応的な方法で、アクション認識に不可欠なキージョイントやフレームに選択的にフォーカスすることができる。
論文 参考訳（メタデータ） (2024-03-14T15:55:53Z) - SkeletonGait: Gait Recognition Using Skeleton Maps [7.335859292188816]
スケルトンマップ(SkeletonGait)と呼ばれる新しい骨格歩行表現を導入し、スケルトンマップから構造情報を利用するスケルトンマップ(SkeletonGait)を提案する。
骨格地図は、人間の関節の座標をガウス近似による熱マップとして表現し、正確な体の構造を持たないシルエットのようなイメージを示す。
SkeletonGait++は、さまざまなシナリオにおいて、既存の最先端メソッドよりも大きな差がある。
論文 参考訳（メタデータ） (2023-11-22T15:09:59Z) - SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。
まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。
次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
論文 参考訳（メタデータ） (2023-09-20T16:22:33Z) - One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton
Matching [77.6989219290789]
ワンショットスケルトン行動認識は、単一のトレーニングサンプルでスケルトン行動認識モデルを学ぶことを目的としている。
本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う新しい一発骨格行動認識手法を提案する。
論文 参考訳（メタデータ） (2023-07-14T11:52:10Z) - GaitRef: Gait Recognition with Refined Sequential Skeletons [20.778107966302116]
人の歩行シーケンスを表すのに使われる2つの一般的なモダリティは、シルエットと関節骨格である。
本稿では,シルエットと骨格を組み合わせることで,歩行認識のためのフレームワイドジョイント予測を洗練する。
シルエット配列からの時間的情報を用いて,改良された骨格は付加アノテーションを使わずに歩行認識性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-16T23:37:24Z) - Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation
Modeling for Unsupervised Person Re-Identification [63.903237777588316]
3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。
既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。
本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-25T00:59:32Z) - Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for
Self-Supervised Skeleton-Based Action Recognition [21.546894064451898]
通常の拡張に基づくコントラストペアを直接拡張すると、性能の面ではリターンが制限されることが示される。
我々は,現在のコントラスト学習アプローチを補完する時間的スケルトン混合強化(SkeleMix)を備えたコントラスト学習フレームワークであるSkeleMixCLRを提案する。
論文 参考訳（メタデータ） (2022-07-07T03:18:09Z) - Simultaneous Bone and Shadow Segmentation Network using Task
Correspondence Consistency [60.378180265885945]
骨と影の同時分割のための共有トランスフォーマベースエンコーダとタスク独立デコーダを備えた単一エンドツーエンドネットワークを提案する。
また,骨表面とそれに対応する影の相互依存性を利用してセグメンテーションを改良する対応整合損失も導入する。
論文 参考訳（メタデータ） (2022-06-16T22:37:05Z) - SimMC: Simple Masked Contrastive Learning of Skeleton Representations
for Unsupervised Person Re-Identification [63.903237777588316]
SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。
具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。
そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
論文 参考訳（メタデータ） (2022-04-21T00:19:38Z) - Learning Rich Features for Gait Recognition by Integrating Skeletons and
Silhouettes [20.766540020533803]
本稿では,骨格とシルエットの相補的な手がかりをマイニングし,歩行識別のためのリッチな特徴を学習する,単純で効果的なバイモーダル融合ネットワークを提案する。
CASIA-B上を歩行する最も困難な条件下では, ランク1の精度は92.1%である。
論文 参考訳（メタデータ） (2021-10-26T04:42:24Z) - Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。
我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
論文 参考訳（メタデータ） (2020-05-12T12:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。