論文の概要: Unsupervised Human Action Recognition with Skeletal Graph Laplacian and
Self-Supervised Viewpoints Invariance
- arxiv url: http://arxiv.org/abs/2204.10312v1
- Date: Thu, 21 Apr 2022 17:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-22 14:20:05.879555
- Title: Unsupervised Human Action Recognition with Skeletal Graph Laplacian and
Self-Supervised Viewpoints Invariance
- Title(参考訳): 骨格グラフラプラシアンと自己監督視点の相違による教師なしの人間行動認識
- Authors: Giancarlo Paoletti, Jacopo Cavazza, Cigdem Beyan, Alessio Del Bue
- Abstract要約: 本稿では,グラフラプラシア正規化を用いた畳み込みオートエンコーダを用いた新しいアーキテクチャを提案する。
我々のアプローチは、カメラビュー間の一般化を保証する自己教師付き勾配逆層を含むことにより、視点の変化に対して堅牢である。
- 参考スコア(独自算出の注目度): 20.748083855677816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel end-to-end method for the problem of
skeleton-based unsupervised human action recognition. We propose a new
architecture with a convolutional autoencoder that uses graph Laplacian
regularization to model the skeletal geometry across the temporal dynamics of
actions. Our approach is robust towards viewpoint variations by including a
self-supervised gradient reverse layer that ensures generalization across
camera views. The proposed method is validated on NTU-60 and NTU-120
large-scale datasets in which it outperforms all prior unsupervised
skeleton-based approaches on the cross-subject, cross-view, and cross-setup
protocols. Although unsupervised, our learnable representation allows our
method even to surpass a few supervised skeleton-based action recognition
methods. The code is available in:
www.github.com/IIT-PAVIS/UHAR_Skeletal_Laplacian
- Abstract(参考訳): 本稿では,スケルトンに基づく非教師なし行動認識問題に対する新しいエンドツーエンド手法を提案する。
グラフラプラシアン正則化(graph laplacian regularization)を用いた畳み込みオートエンコーダ(convolutional autoencoder)を用いた新しいアーキテクチャを提案する。
我々のアプローチは、カメラビュー間の一般化を保証する自己教師付き勾配逆層を含むことにより、視点の変化に対して堅牢である。
提案手法は,NTU-60 と NTU-120 の大規模データセットで検証され,クロスオブジェクト,クロスビュー,クロスセットプロトコルの非教師なしスケルトンベースのアプローチよりも優れていた。
教師なしではあるが、学習可能な表現により、いくつかの教師付き骨格に基づく行動認識法を超越することさえ可能である。
コードはwww.github.com/iit-pavis/uhar_skeletal_laplacianで入手できる。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Exploring Self-Supervised Skeleton-Based Human Action Recognition under Occlusions [40.322770236718775]
本稿では,自律型ロボットシステムに自己教師付き骨格に基づく行動認識手法を統合する手法を提案する。
まず、隠蔽されたスケルトン配列を用いて事前トレーニングを行い、次にk平均クラスタリング(KMeans)を用いてシーケンス埋め込みを行い、意味的に類似したサンプルをグループ化する。
比較的完全な配列を生成するために不完全な骨格配列を挿入することは、既存の骨格に基づく自己管理法に重要な利益をもたらす。
論文 参考訳(メタデータ) (2023-09-21T12:51:11Z) - SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence
Pre-training [110.55093254677638]
我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。
本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。
我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
論文 参考訳(メタデータ) (2023-07-17T13:33:11Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Joint-bone Fusion Graph Convolutional Network for Semi-supervised
Skeleton Action Recognition [65.78703941973183]
本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。
具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。
自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
論文 参考訳(メタデータ) (2022-02-08T16:03:15Z) - UNIK: A Unified Framework for Real-world Skeleton-based Action
Recognition [11.81043814295441]
UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。
実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。
その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
論文 参考訳(メタデータ) (2021-07-19T02:00:28Z) - Revisiting Skeleton-based Action Recognition [107.08112310075114]
PoseC3Dは骨格に基づく行動認識の新しいアプローチであり、代わりに人間の骨格のベース表現としてグラフシーケンスを積み重ねる3Dヒートマップに依存している。
4つの挑戦的なデータセットにおいて、PoseC3Dは、スケルトン上で単独で使用し、RGBモダリティと組み合わせることで、常に優れたパフォーマンスを得る。
論文 参考訳(メタデータ) (2021-04-28T06:32:17Z) - A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D
Skeleton Based Person Re-Identification [65.18004601366066]
3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。
本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
論文 参考訳(メタデータ) (2020-09-05T16:06:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。