論文の概要: SkeleTR: Towrads Skeleton-based Action Recognition in the Wild

• arxiv url: http://arxiv.org/abs/2309.11445v1
• Date: Wed, 20 Sep 2023 16:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 15:30:52.055624
• Title: SkeleTR: Towrads Skeleton-based Action Recognition in the Wild
• Title（参考訳）: skeletr: 野生動物における骨格に基づく行動認識
• Authors: Haodong Duan, Mingze Xu, Bing Shuai, Davide Modolo, Zhuowen Tu, Joseph Tighe, Alessandro Bergamo
• Abstract要約: SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。 まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。 次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
• 参考スコア（独自算出の注目度）: 86.03082891242698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SkeleTR, a new framework for skeleton-based action recognition. In contrast to prior work, which focuses mainly on controlled environments, we target more general scenarios that typically involve a variable number of people and various forms of interaction between people. SkeleTR works with a two-stage paradigm. It first models the intra-person skeleton dynamics for each skeleton sequence with graph convolutions, and then uses stacked Transformer encoders to capture person interactions that are important for action recognition in general scenarios. To mitigate the negative impact of inaccurate skeleton associations, SkeleTR takes relative short skeleton sequences as input and increases the number of sequences. As a unified solution, SkeleTR can be directly applied to multiple skeleton-based action tasks, including video-level action classification, instance-level action detection, and group-level activity recognition. It also enables transfer learning and joint training across different action tasks and datasets, which result in performance improvement. When evaluated on various skeleton-based action recognition benchmarks, SkeleTR achieves the state-of-the-art performance.
• Abstract（参考訳）: 骨格に基づく行動認識のための新しいフレームワークであるSkeleTRを提案する。 主に制御された環境に焦点を当てた以前の作業とは対照的に、通常、人数の変動や人との相互作用のさまざまな形態を含む、より一般的なシナリオをターゲットにしています。 SkeleTRは2段階のパラダイムで動作する。 まず、グラフ畳み込みで各スケルトン列の人物内骨格ダイナミクスをモデル化し、次に積み重ねられたトランスフォーマーエンコーダを使用して、一般的なシナリオでアクション認識に重要な人物インタラクションをキャプチャする。 不正確な骨格結合の負の影響を軽減するため、SkeleTRは比較的短い骨格配列を入力として取り、配列の数を増やす。 統合ソリューションとしてskeletrは、ビデオレベルのアクション分類、インスタンスレベルのアクション検出、グループレベルのアクティビティ認識など、複数のスケルトンベースのアクションタスクに直接適用することができる。 また、異なるアクションタスクとデータセットをまたいだトランスファーラーニングと共同トレーニングが可能になり、パフォーマンスが向上する。 様々なスケルトンに基づく行動認識ベンチマークで評価すると、SkeleTRは最先端のパフォーマンスを達成する。

関連論文リスト

• Expressive Keypoints for Skeleton-based Action Recognition via Skeleton Transformation [14.033701085783177]
  我々は,手と足の詳細を組み込んだ表現的キーポイントを提案し,複雑な動作を識別する既存のモデルの識別能力を向上させる。 プラグアンドプレイのインスタンスプールモジュールは、計算コストを増大させることなく、マルチパーソンシナリオにアプローチを拡張するために利用されます。
  論文  参考訳（メタデータ） (2024-06-26T01:48:56Z)
• SkateFormer: Skeletal-Temporal Transformer for Human Action Recognition [25.341177384559174]
  我々はSkateFormer(SkateFormer)と呼ばれる新しい手法を提案する。 SkateFormerは、さまざまなタイプの骨格と時間の関係に基づいて関節とフレームを分割する。 アクション適応的な方法で、アクション認識に不可欠なキージョイントやフレームに選択的にフォーカスすることができる。
  論文  参考訳（メタデータ） (2024-03-14T15:55:53Z)
• One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching [77.6989219290789]
  ワンショットスケルトン行動認識は、単一のトレーニングサンプルでスケルトン行動認識モデルを学ぶことを目的としている。 本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う新しい一発骨格行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T11:52:10Z)
• Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation Modeling for Unsupervised Person Re-Identification [63.903237777588316]
  3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。 既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。 本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:59:32Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
  本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-08T14:44:59Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)
• Predictively Encoded Graph Convolutional Network for Noise-Robust Skeleton-based Action Recognition [6.729108277517129]
  本研究では,骨格特徴の雑音情報に対して頑健な骨格に基づく行動認識手法を提案する。 本手法は, 既存の最先端手法と比較して, スケルトンサンプルがノイズを受ける場合の優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-03-17T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。