論文の概要: Self-Supervised Skeleton Action Representation Learning: A Benchmark and Beyond
- arxiv url: http://arxiv.org/abs/2406.02978v1
- Date: Wed, 5 Jun 2024 06:21:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 19:49:25.084606
- Title: Self-Supervised Skeleton Action Representation Learning: A Benchmark and Beyond
- Title（参考訳）: 自己監督型スケルトン行動表現学習 - ベンチマークとそれを超えるもの
- Authors: Jiahang Zhang, Lilang Lin, Shuai Yang, Jiaying Liu,
- Abstract要約: 自己教師付き学習(SSL)はラベル効率のよい骨格に基づく行動理解に有効であることが証明されている。
最近のスケルトンベースのSSLへの取り組みは目覚ましい進歩を遂げている。
本稿では,自己教師型骨格に基づく行動表現学習に関する包括的調査を行う。
- 参考スコア（独自算出の注目度）: 19.074841631219233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL), which aims to learn meaningful prior representations from unlabeled data, has been proven effective for label-efficient skeleton-based action understanding. Different from the image domain, skeleton data possesses sparser spatial structures and diverse representation forms, with the absence of background clues and the additional temporal dimension. This presents the new challenges for the pretext task design of spatial-temporal motion representation learning. Recently, many endeavors have been made for skeleton-based SSL and remarkable progress has been achieved. However, a systematic and thorough review is still lacking. In this paper, we conduct, for the first time, a comprehensive survey on self-supervised skeleton-based action representation learning, where various literature is organized according to their pre-training pretext task methodologies. Following the taxonomy of context-based, generative learning, and contrastive learning approaches, we make a thorough review and benchmark of existing works and shed light on the future possible directions. Our investigation demonstrates that most SSL works rely on the single paradigm, learning representations of a single level, and are evaluated on the action recognition task solely, which leaves the generalization power of skeleton SSL models under-explored. To this end, a novel and effective SSL method for skeleton is further proposed, which integrates multiple pretext tasks to jointly learn versatile representations of different granularity, substantially boosting the generalization capacity for different downstream tasks. Extensive experiments under three large-scale datasets demonstrate that the proposed method achieves the superior generalization performance on various downstream tasks, including recognition, retrieval, detection, and few-shot learning.
- Abstract（参考訳）: ラベル付きデータから有意義な事前表現を学習することを目的とした自己教師付き学習(SSL)は,ラベル効率のよい骨格に基づく行動理解に有効であることが証明されている。
画像領域と異なり、骨格データは背景の手がかりや追加の時間次元が無く、スペーサー空間構造と多様な表現形式を有する。
本研究では,空間的時間的運動表現学習におけるプレテキスト・タスク・デザインの課題について述べる。
近年、スケルトンベースのSSLに多くの取り組みがなされており、目覚ましい進歩を遂げている。
しかし、体系的で徹底的なレビューは依然として欠落している。
本稿では,自己教師型骨格に基づく行動表現学習に関する総合的な調査を初めて実施する。
文脈に基づく、生成的学習、および対照的な学習アプローチの分類に続き、既存の研究の徹底的なレビューとベンチマークを行い、将来可能な方向性について光を当てる。
本研究は,ほとんどのSSL作業が単一パラダイム,単一レベルの学習表現に依存していることを実証し,動作認識タスクのみを用いて評価し,スケルトン型SSLモデルの一般化能力について検討した。
この目的のために、複数のプレテキストタスクを統合し、異なる粒度の多目的表現を共同で学習し、下流タスクの一般化能力を大幅に向上させる、新しいスケルトン用SSL法が提案されている。
3つの大規模データセットによる大規模な実験により,提案手法は,認識,検索,検出,少数ショット学習など,様々な下流タスクにおいて優れた一般化性能を達成できることを示した。
関連論文リスト
- Exploring the Precise Dynamics of Single-Layer GAN Models: Leveraging Multi-Feature Discriminators for High-Dimensional Subspace Learning [0.0]
サブスペース学習の観点から,単層GANモデルのトレーニングダイナミクスについて検討する。
解析をサブスペース学習の領域にブリッジすることで,従来の手法と比較してGAN法の有効性を体系的に比較する。
論文 参考訳（メタデータ） (2024-11-01T10:21:12Z) - Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning [20.34477942813382]
スケルトンに基づく行動表現学習は、骨格配列を符号化することで人間の行動を理解し理解することを目的としている。
クロスモーダル・コントラッシブ・ラーニングに基づく新しいスケルトンベースのトレーニング・フレームワークを提案する。
提案手法は,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-05-31T03:40:15Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。
本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
論文 参考訳（メタデータ） (2022-08-24T04:26:21Z) - Hierarchically Self-Supervised Transformer for Human Skeleton
Representation Learning [45.13060970066485]
階層型トランスフォーマーベーススケルトンシーケンスエンコーダ(Hi-TRS)に組み込まれた自己教師型階層型事前学習方式を提案する。
教師付き評価プロトコルと半教師付き評価プロトコルの両方で,本手法は最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-07-20T04:21:05Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - Self-supervised on Graphs: Contrastive, Generative,or Predictive [25.679620842010422]
SSL(Self-supervised Learning)は、よく設計されたプリテキストタスクを通じて有益な知識を抽出するための新しいパラダイムとして登場しています。
既存のグラフSSLメソッドは、コントラスト、生成、予測の3つのカテゴリに分けられる。
また、一般的なデータセット、評価メトリクス、下流タスク、さまざまなアルゴリズムのオープンソース実装をまとめています。
論文 参考訳（メタデータ） (2021-05-16T03:30:03Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳（メタデータ） (2021-02-22T18:56:34Z) - MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action
Recognition [36.74293548921099]
動作予測,ジグソーパズル認識,コントラスト学習を統合し,異なる側面から骨格の特徴を学習する。
NW-UCLA, NTU RGB+D, PKUMMDデータセットを用いた実験は, 行動認識における顕著な性能を示した。
論文 参考訳（メタデータ） (2020-10-12T11:09:44Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。