論文の概要: Skeleton-Contrastive 3D Action Representation Learning

• arxiv url: http://arxiv.org/abs/2108.03656v1
• Date: Sun, 8 Aug 2021 14:44:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:25:11.343429
• Title: Skeleton-Contrastive 3D Action Representation Learning
• Title（参考訳）: 骨格コントラスト3次元行動表現学習
• Authors: Fida Mohammad Thoker, Hazel Doughty, Cees G.M. Snoek
• Abstract要約: 本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 35.06361753065124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper strives for self-supervised learning of a feature space suitable for skeleton-based action recognition. Our proposal is built upon learning invariances to input skeleton representations and various skeleton augmentations via a noise contrastive estimation. In particular, we propose inter-skeleton contrastive learning, which learns from multiple different input skeleton representations in a cross-contrastive manner. In addition, we contribute several skeleton-specific spatial and temporal augmentations which further encourage the model to learn the spatio-temporal dynamics of skeleton data. By learning similarities between different skeleton representations as well as augmented views of the same sequence, the network is encouraged to learn higher-level semantics of the skeleton data than when only using the augmented views. Our approach achieves state-of-the-art performance for self-supervised learning from skeleton data on the challenging PKU and NTU datasets with multiple downstream tasks, including action recognition, action retrieval and semi-supervised learning. Code is available at https://github.com/fmthoker/skeleton-contrast.
• Abstract（参考訳）: 本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,ノイズコントラスト推定による入力スケルトン表現と各種スケルトン拡張に対する不変性の学習に基づく。 特に,複数の異なる入力骨格表現からクロスコントラスト的に学習する骨格間コントラスト学習を提案する。 さらに,スケルトンデータの時空間的ダイナミクスをモデルに学ばせるために,いくつかのスケルトン特有の空間的および時間的拡張を寄与する。 異なるスケルトン表現の類似性と、同じシーケンスの強化ビューを学習することにより、ネットワークは、拡張ビューのみを使用する場合よりも、スケルトンデータの高度なセマンティクスを学習することが奨励される。 提案手法は,動作認識,行動検索,半教師付き学習など,複数の下流タスクを伴うPKUおよびNTUデータセット上の骨格データから,自己教師付き学習の最先端性能を実現する。 コードはhttps://github.com/fmthoker/skeleton-contrastで入手できる。

関連論文リスト

• Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning [20.34477942813382]
  スケルトンに基づく行動表現学習は、骨格配列を符号化することで人間の行動を理解し理解することを目的としている。 クロスモーダル・コントラッシブ・ラーニングに基づく新しいスケルトンベースのトレーニング・フレームワークを提案する。 提案手法は,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-05-31T03:40:15Z)
• SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
  SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。 まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。 次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2023-09-20T16:22:33Z)
• SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence Pre-training [110.55093254677638]
  我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。 本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。 我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T13:33:11Z)
• One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching [77.6989219290789]
  ワンショットスケルトン行動認識は、単一のトレーニングサンプルでスケルトン行動認識モデルを学ぶことを目的としている。 本稿では,マルチスケールな時空間特徴マッチングによる骨格行動認識を行う新しい一発骨格行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T11:52:10Z)
• Contrastive Self-Supervised Learning for Skeleton Representations [2.528877542605869]
  我々は,スケルトン点雲のセマンティクスをキャプチャする表現を学習するために,コントラッシブな自己教師付き学習手法であるSimCLRを用いている。 表現を事前訓練するために、既存の6つのデータセットを正規化し、4000万以上のスケルトンフレームを得る。 本研究では,3つの下流課題(骨格再構築,運動予測,行動分類)で学習した表現の質を評価する。
  論文  参考訳（メタデータ） (2022-11-10T02:45:36Z)
• Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation Modeling for Unsupervised Person Re-Identification [63.903237777588316]
  3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。 既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。 本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:59:32Z)
• Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition [21.546894064451898]
  通常の拡張に基づくコントラストペアを直接拡張すると、性能の面ではリターンが制限されることが示される。 我々は,現在のコントラスト学習アプローチを補完する時間的スケルトン混合強化(SkeleMix)を備えたコントラスト学習フレームワークであるSkeleMixCLRを提案する。
  論文  参考訳（メタデータ） (2022-07-07T03:18:09Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。