論文の概要: Exploring Self-supervised Skeleton-based Action Recognition in Occluded Environments

• arxiv url: http://arxiv.org/abs/2309.12029v3
• Date: Wed, 16 Apr 2025 15:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:35:51.344711
• Title: Exploring Self-supervised Skeleton-based Action Recognition in Occluded Environments
• Title（参考訳）: 蓄積環境における自己教師付き骨格に基づく行動認識の探索
• Authors: Yifei Chen, Kunyu Peng, Alina Roitberg, David Schneider, Jiaming Zhang, Junwei Zheng, Yufan Chen, Ruiping Liu, Kailun Yang, Rainer Stiefelhagen,
• Abstract要約: 我々は,オクルージョンを扱うためのシンプルで効果的な自己教師型学習フレームワークであるIosPSTLを提案する。 IosPSTLはクラスタに依存しないKNN命令とOccluded partial Spatio-Temporal Learning (OPSTL)戦略を組み合わせる。 OPSTLモジュールは適応空間マスキング (Adaptive Spatial Masking, ASM) を組み込んで、トレーニング中に無傷で高品質な骨格配列をうまく活用する。
• 参考スコア（独自算出の注目度）: 40.322770236718775
• License:
• Abstract: To integrate action recognition into autonomous robotic systems, it is essential to address challenges such as person occlusions-a common yet often overlooked scenario in existing self-supervised skeleton-based action recognition methods. In this work, we propose IosPSTL, a simple and effective self-supervised learning framework designed to handle occlusions. IosPSTL combines a cluster-agnostic KNN imputer with an Occluded Partial Spatio-Temporal Learning (OPSTL) strategy. First, we pre-train the model on occluded skeleton sequences. Then, we introduce a cluster-agnostic KNN imputer that performs semantic grouping using k-means clustering on sequence embeddings. It imputes missing skeleton data by applying K-Nearest Neighbors in the latent space, leveraging nearby sample representations to restore occluded joints. This imputation generates more complete skeleton sequences, which significantly benefits downstream self-supervised models. To further enhance learning, the OPSTL module incorporates Adaptive Spatial Masking (ASM) to make better use of intact, high-quality skeleton sequences during training. Our method achieves state-of-the-art performance on the occluded versions of the NTU-60 and NTU-120 datasets, demonstrating its robustness and effectiveness under challenging conditions. Code is available at https://github.com/cyfml/OPSTL.
• Abstract（参考訳）: 自律型ロボットシステムに行動認識を統合するためには、既存の自己監督型骨格に基づく行動認識手法において、人体閉塞などの課題に対処することが不可欠である。 本研究は,オクルージョンを扱うために設計された,シンプルで効果的な自己教師型学習フレームワークであるIosPSTLを提案する。 IosPSTLはクラスタに依存しないKNN命令とOccluded partial Spatio-Temporal Learning (OPSTL)戦略を組み合わせる。 まず、隠蔽された骨格配列でモデルを事前訓練する。 そこで本研究では,k-meansクラスタリングを用いたセマンティックグルーピングを行うクラスタ非依存のKNNインプタを提案する。 K-Nearest Neighborsを潜伏空間に応用し、近くのサンプル表現を利用して閉塞した関節を復元することで、行方不明の骨格データを暗示する。 この計算により、より完全な骨格配列が生成され、下流の自己教師型モデルに大きく貢献する。 学習をさらに強化するため、OPSTLモジュールは適応空間マスキング(Adaptive Spatial Masking, ASM)を導入し、トレーニング中に無傷で高品質な骨格配列をよりよく活用する。 提案手法は,NTU-60およびNTU-120データセットの隠蔽バージョンにおける最先端性能を実現し,その頑健さと課題条件下での有効性を実証する。 コードはhttps://github.com/cyfml/OPSTLで入手できる。

関連論文リスト

• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence Pre-training [110.55093254677638]
  我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。 本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。 我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T13:33:11Z)
• Prompt-Guided Zero-Shot Anomaly Action Recognition using Pretrained Deep Skeleton Features [3.255030588361124]
  教師なしの異常行動認識は、異常なサンプルを伴わずに、教師なしの方法で、ビデオレベルの異常な人間-行動事象を識別する。 対象領域非依存型骨格特徴抽出器を用いたユーザプロンプト誘導型ゼロショット学習フレームワークを提案する。 ユーザプロンプト埋め込みと共通空間に並んだ骨格的特徴の類似度スコアを異常スコアに組み込み,通常の動作を間接的に補う。
  論文  参考訳（メタデータ） (2023-03-27T12:59:33Z)
• Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences [29.376328807860993]
  本研究では,異なる骨格関節とビデオフレームの局所的関係を利用した部分的時空間学習(PSTL)フレームワークを提案する。 提案手法は, NTURGB+D 60, NTURGBMM+D 120, PKU-Dのダウンストリームタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-17T17:35:05Z)
• SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition [13.283178393519234]
  自己監督型骨格に基づく行動認識が注目されている。 ラベルのないデータを利用することで、オーバーフィッティング問題を緩和するためにより一般化可能な特徴を学ぶことができる。 自己教師型3次元骨格に基づく行動認識のための空間時間マスク付きオートエンコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-01T20:54:27Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。