論文の概要: One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching

• arxiv url: http://arxiv.org/abs/2307.07286v2
• Date: Tue, 6 Feb 2024 12:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 20:38:43.635585
• Title: One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching
• Title（参考訳）: マルチスケール空間時間骨格マッチングによるワンショット行動認識
• Authors: Siyuan Yang, Jun Liu, Shijian Lu, Er Meng Hwa, Alex C. Kot
• Abstract要約: ワンショットスケルトン行動認識は、単一のトレーニングサンプルでスケルトン行動認識モデルを学ぶことを目的としている。 本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う新しい一発骨格行動認識手法を提案する。
• 参考スコア（独自算出の注目度）: 77.6989219290789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot skeleton action recognition, which aims to learn a skeleton action recognition model with a single training sample, has attracted increasing interest due to the challenge of collecting and annotating large-scale skeleton action data. However, most existing studies match skeleton sequences by comparing their feature vectors directly which neglects spatial structures and temporal orders of skeleton data. This paper presents a novel one-shot skeleton action recognition technique that handles skeleton action recognition via multi-scale spatial-temporal feature matching. We represent skeleton data at multiple spatial and temporal scales and achieve optimal feature matching from two perspectives. The first is multi-scale matching which captures the scale-wise semantic relevance of skeleton data at multiple spatial and temporal scales simultaneously. The second is cross-scale matching which handles different motion magnitudes and speeds by capturing sample-wise relevance across multiple scales. Extensive experiments over three large-scale datasets (NTU RGB+D, NTU RGB+D 120, and PKU-MMD) show that our method achieves superior one-shot skeleton action recognition, and it outperforms the state-of-the-art consistently by large margins.
• Abstract（参考訳）: 単一トレーニングサンプルで骨格行動認識モデルを学習することを目的としたワンショット骨格行動認識は,大規模な骨格行動データの収集と注釈付けの難しさから注目されている。 しかし、既存のほとんどの研究は、空間構造や骨格データの時間順序を無視する特徴ベクトルを直接比較することで骨格配列と一致している。 本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う一発骨格行動認識技術を提案する。 複数の空間的および時間的スケールでスケルトンデータを表現し、2つの視点から最適な特徴マッチングを実現する。 ひとつはマルチスケールマッチングで、複数の空間的および時間的スケールでスケルトンデータのスケールワイドな意味関係を同時にキャプチャする。 2つ目はクロススケールマッチングで、複数のスケールにまたがるサンプルワイドの関連性を捉えることで、異なる動きの大きさと速度を扱う。 大規模な3つのデータセット(NTU RGB+D, NTU RGB+D 120, PKU-MMD)に対する大規模な実験により, 本手法は優れた単発骨格の動作認識を達成し, 高いマージンで一貫した性能を発揮することが示された。

関連論文リスト

• SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
  SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。 まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。 次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2023-09-20T16:22:33Z)
• Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences [29.376328807860993]
  本研究では,異なる骨格関節とビデオフレームの局所的関係を利用した部分的時空間学習(PSTL)フレームワークを提案する。 提案手法は, NTURGB+D 60, NTURGBMM+D 120, PKU-Dのダウンストリームタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-17T17:35:05Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition [21.546894064451898]
  通常の拡張に基づくコントラストペアを直接拡張すると、性能の面ではリターンが制限されることが示される。 我々は,現在のコントラスト学習アプローチを補完する時間的スケルトン混合強化(SkeleMix)を備えたコントラスト学習フレームワークであるSkeleMixCLRを提案する。
  論文  参考訳（メタデータ） (2022-07-07T03:18:09Z)
• Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition [49.163326827954656]
  骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-08-10T09:25:07Z)
• Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
  本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-08T14:44:59Z)
• Revisiting Skeleton-based Action Recognition [107.08112310075114]
  PoseC3Dは骨格に基づく行動認識の新しいアプローチであり、代わりに人間の骨格のベース表現としてグラフシーケンスを積み重ねる3Dヒートマップに依存している。 4つの挑戦的なデータセットにおいて、PoseC3Dは、スケルトン上で単独で使用し、RGBモダリティと組み合わせることで、常に優れたパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-04-28T06:32:17Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。