論文の概要: Exploring Self-Supervised Skeleton-Based Human Action Recognition under Occlusions

• arxiv url: http://arxiv.org/abs/2309.12029v2
• Date: Wed, 23 Oct 2024 04:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:51:40.436970
• Title: Exploring Self-Supervised Skeleton-Based Human Action Recognition under Occlusions
• Title（参考訳）: 閉塞下での自己監督型骨格に基づく人間行動認識の探索
• Authors: Yifei Chen, Kunyu Peng, Alina Roitberg, David Schneider, Jiaming Zhang, Junwei Zheng, Ruiping Liu, Yufan Chen, Kailun Yang, Rainer Stiefelhagen,
• Abstract要約: 本稿では,自律型ロボットシステムに自己教師付き骨格に基づく行動認識手法を統合する手法を提案する。 まず、隠蔽されたスケルトン配列を用いて事前トレーニングを行い、次にk平均クラスタリング(KMeans)を用いてシーケンス埋め込みを行い、意味的に類似したサンプルをグループ化する。 比較的完全な配列を生成するために不完全な骨格配列を挿入することは、既存の骨格に基づく自己管理法に重要な利益をもたらす。
• 参考スコア（独自算出の注目度）: 40.322770236718775
• License:
• Abstract: To integrate self-supervised skeleton-based action recognition methods into autonomous robotic systems, it is crucial to consider adverse situations involving target occlusions. Such a scenario, despite its practical relevance, is rarely addressed in existing self-supervised skeleton-based action recognition methods. To empower models with the capacity to address occlusion, we propose a simple and effective method. We first pre-train using occluded skeleton sequences, then use k-means clustering (KMeans) on sequence embeddings to group semantically similar samples. Next, we propose KNN-Imputation to fill in missing skeleton data based on the closest sample neighbors. Imputing incomplete skeleton sequences to create relatively complete sequences as input provides significant benefits to existing skeleton-based self-supervised methods. Meanwhile, building on the state-of-the-art Partial Spatio-Temporal Learning (PSTL), we introduce an Occluded Partial Spatio-Temporal Learning (OPSTL) framework. This enhancement utilizes Adaptive Spatial Masking (ASM) for better use of high-quality, intact skeletons. The new proposed method is verified on the challenging occluded versions of the NTURGB+D 60 and NTURGB+D 120. The source code is publicly available at https://github.com/cyfml/OPSTL.
• Abstract（参考訳）: 自己監督型骨格に基づく行動認識手法を自律型ロボットシステムに統合するためには,標的閉塞を伴う有害な状況を考えることが重要である。 このようなシナリオは、実際的な関連性にもかかわらず、既存の自己監督型骨格に基づく行動認識法で対処されることは稀である。 閉塞に対処する能力を持つモデルを強化するために,単純かつ効果的な手法を提案する。 まず、隠蔽されたスケルトン配列を用いて事前トレーニングを行い、次にk平均クラスタリング(KMeans)を用いてシーケンス埋め込みを行い、意味的に類似したサンプルをグループ化する。 次に,KNN-Imputationを提案する。 不完全な骨格配列を入力として比較的完全な配列を生成することは、既存の骨格に基づく自己管理手法に大きな利点をもたらす。 一方,PSTL(Partial Spatio-Temporal Learning)を基盤として,Occluded Partial Spatio-Temporal Learning(OPSTL)フレームワークを導入する。 この強化は、適応空間マスキング(ASM)を利用して、高品質で無傷な骨格をよりよく活用する。 提案手法は,NTURGB+D 60 と NTURGB+D 120 の難易度を検証した。 ソースコードはhttps://github.com/cyfml/OPSTLで公開されている。

関連論文リスト

• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence Pre-training [110.55093254677638]
  我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。 本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。 我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T13:33:11Z)
• Prompt-Guided Zero-Shot Anomaly Action Recognition using Pretrained Deep Skeleton Features [3.255030588361124]
  教師なしの異常行動認識は、異常なサンプルを伴わずに、教師なしの方法で、ビデオレベルの異常な人間-行動事象を識別する。 対象領域非依存型骨格特徴抽出器を用いたユーザプロンプト誘導型ゼロショット学習フレームワークを提案する。 ユーザプロンプト埋め込みと共通空間に並んだ骨格的特徴の類似度スコアを異常スコアに組み込み,通常の動作を間接的に補う。
  論文  参考訳（メタデータ） (2023-03-27T12:59:33Z)
• Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences [29.376328807860993]
  本研究では,異なる骨格関節とビデオフレームの局所的関係を利用した部分的時空間学習(PSTL)フレームワークを提案する。 提案手法は, NTURGB+D 60, NTURGBMM+D 120, PKU-Dのダウンストリームタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-17T17:35:05Z)
• SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition [13.283178393519234]
  自己監督型骨格に基づく行動認識が注目されている。 ラベルのないデータを利用することで、オーバーフィッティング問題を緩和するためにより一般化可能な特徴を学ぶことができる。 自己教師型3次元骨格に基づく行動認識のための空間時間マスク付きオートエンコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-01T20:54:27Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。