論文の概要: Unveiling the Hidden Realm: Self-supervised Skeleton-based Action Recognition in Occluded Environments

• arxiv url: http://arxiv.org/abs/2309.12029v1
• Date: Thu, 21 Sep 2023 12:51:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 15:31:35.141978
• Title: Unveiling the Hidden Realm: Self-supervised Skeleton-based Action Recognition in Occluded Environments
• Title（参考訳）: 隠れた環境における自己教師付きスケルトンに基づく行動認識
• Authors: Yifei Chen, Kunyu Peng, Alina Roitberg, David Schneider, Jiaming Zhang, Junwei Zheng, Ruiping Liu, Yufan Chen, Kailun Yang, Rainer Stiefelhagen
• Abstract要約: そこで本研究では,ロボットの閉塞に対処する能力を持つ簡易かつ効果的な手法を提案する。 まず、隠蔽されたスケルトン配列を用いて事前トレーニングを行い、次にk平均クラスタリング(KMeans)を用いてシーケンス埋め込みを行い、意味的に類似したサンプルをグループ化する。 次に、K-nearest-neighbor(KNN)を用いて、最も近いサンプル隣人に基づいて、行方不明の骨格データを埋める。
• 参考スコア（独自算出の注目度）: 41.664437160034176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To integrate action recognition methods into autonomous robotic systems, it is crucial to consider adverse situations involving target occlusions. Such a scenario, despite its practical relevance, is rarely addressed in existing self-supervised skeleton-based action recognition methods. To empower robots with the capacity to address occlusion, we propose a simple and effective method. We first pre-train using occluded skeleton sequences, then use k-means clustering (KMeans) on sequence embeddings to group semantically similar samples. Next, we employ K-nearest-neighbor (KNN) to fill in missing skeleton data based on the closest sample neighbors. Imputing incomplete skeleton sequences to create relatively complete sequences as input provides significant benefits to existing skeleton-based self-supervised models. Meanwhile, building on the state-of-the-art Partial Spatio-Temporal Learning (PSTL), we introduce an Occluded Partial Spatio-Temporal Learning (OPSTL) framework. This enhancement utilizes Adaptive Spatial Masking (ASM) for better use of high-quality, intact skeletons. The effectiveness of our imputation methods is verified on the challenging occluded versions of the NTURGB+D 60 and NTURGB+D 120. The source code will be made publicly available at https://github.com/cyfml/OPSTL.
• Abstract（参考訳）: 自律型ロボットシステムへの行動認識手法を統合するためには, 目標咬合を伴う状況を考慮することが重要である。 このようなシナリオは、実際的な関連性にもかかわらず、既存の自己監督型骨格に基づく行動認識法で対処されることはほとんどない。 ロボットに閉塞に対処する能力を与えるため,単純で効果的な手法を提案する。 まず,オクルードスケルトン配列を用いた事前学習を行い,次にk-meansクラスタリング(kmeans)を用いてシーケンス埋め込みを行い,意味的に類似したサンプルをグループ化する。 次に、K-nearest-neighbor(KNN)を用いて、最も近いサンプル隣人に基づいて、行方不明の骨格データを埋める。 不完全なスケルトン配列を入力として比較的完全なシーケンスを生成することは、既存のスケルトンベースの自己教師型モデルに大きな利益をもたらす。 一方,PSTL(Partial Spatio-Temporal Learning)を基盤として,Occluded Partial Spatio-Temporal Learning(OPSTL)フレームワークを導入する。 この強化は適応空間マスキング(ASM)を利用して高品質で無傷な骨格をよりよく活用する。 提案手法の有効性を,NTURGB+D 60およびNTURGB+D 120の難読化バージョンで検証した。 ソースコードはhttps://github.com/cyfml/OPSTLで公開されている。

関連論文リスト

• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence Pre-training [110.55093254677638]
  我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。 本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。 我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T13:33:11Z)
• Prompt-Guided Zero-Shot Anomaly Action Recognition using Pretrained Deep Skeleton Features [3.255030588361124]
  教師なしの異常行動認識は、異常なサンプルを伴わずに、教師なしの方法で、ビデオレベルの異常な人間-行動事象を識別する。 対象領域非依存型骨格特徴抽出器を用いたユーザプロンプト誘導型ゼロショット学習フレームワークを提案する。 ユーザプロンプト埋め込みと共通空間に並んだ骨格的特徴の類似度スコアを異常スコアに組み込み,通常の動作を間接的に補う。
  論文  参考訳（メタデータ） (2023-03-27T12:59:33Z)
• Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences [29.376328807860993]
  本研究では,異なる骨格関節とビデオフレームの局所的関係を利用した部分的時空間学習(PSTL)フレームワークを提案する。 提案手法は, NTURGB+D 60, NTURGBMM+D 120, PKU-Dのダウンストリームタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-17T17:35:05Z)
• SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition [13.283178393519234]
  自己監督型骨格に基づく行動認識が注目されている。 ラベルのないデータを利用することで、オーバーフィッティング問題を緩和するためにより一般化可能な特徴を学ぶことができる。 自己教師型3次元骨格に基づく行動認識のための空間時間マスク付きオートエンコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-01T20:54:27Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。