論文の概要: Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning

• arxiv url: http://arxiv.org/abs/2212.02082v1
• Date: Mon, 5 Dec 2022 07:52:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 17:35:27.077488
• Title: Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning
• Title（参考訳）: 教師なしスケルトンに基づく行動表現学習のための階層的コントラスト
• Authors: Jianfeng Dong, Shengkai Sun, Zhonglin Liu, Shujie Chen, Baolong Liu, Xun Wang
• Abstract要約: 本稿では,教師なし骨格に基づく行動表現学習を目標とし,階層型コントラスト(HiCo)フレームワークを提案する。 HiCoは複数のレベルの特徴への入力を表し、階層的な方法でコントラストを実行する。 本フレームワークは半教師付き骨格に基づく行動認識に有効である。
• 参考スコア（独自算出の注目度）: 26.586243471609478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper targets unsupervised skeleton-based action representation learning and proposes a new Hierarchical Contrast (HiCo) framework. Different from the existing contrastive-based solutions that typically represent an input skeleton sequence into instance-level features and perform contrast holistically, our proposed HiCo represents the input into multiple-level features and performs contrast in a hierarchical manner. Specifically, given a human skeleton sequence, we represent it into multiple feature vectors of different granularities from both temporal and spatial domains via sequence-to-sequence (S2S) encoders and unified downsampling modules. Besides, the hierarchical contrast is conducted in terms of four levels: instance level, domain level, clip level, and part level. Moreover, HiCo is orthogonal to the S2S encoder, which allows us to flexibly embrace state-of-the-art S2S encoders. Extensive experiments on four datasets, i.e., NTU-60, NTU-120, PKU-MMD I and II, show that HiCo achieves a new state-of-the-art for unsupervised skeleton-based action representation learning in two downstream tasks including action recognition and retrieval, and its learned action representation is of good transferability. Besides, we also show that our framework is effective for semi-supervised skeleton-based action recognition. Our code is available at https://github.com/HuiGuanLab/HiCo.
• Abstract（参考訳）: 本稿では,教師なし骨格に基づく行動表現学習を目標とし,階層型コントラスト(HiCo)フレームワークを提案する。 入力スケルトンシーケンスをインスタンスレベルの特徴に表現し,コントラストを均等に実行する既存のコントラストベースソリューションとは異なり,提案したHiCoは複数レベルの特徴への入力を表現し,階層的にコントラストを実行する。 具体的には、人間の骨格配列を与えられたとき、s2sエンコーダと統一ダウンサンプリングモジュールを介して、時間領域と空間領域の両方から異なる粒度の複数の特徴ベクトルに表現する。 さらに、階層的なコントラストは、インスタンスレベル、ドメインレベル、クリップレベル、パートレベルという4つのレベルで実行される。 さらに、HiCoはS2Sエンコーダと直交しており、最先端のS2Sエンコーダを柔軟に採用することができる。 NTU-60, NTU-120, PKU-MMD I, IIの4つのデータセットに対する大規模な実験により, HiCoは, 動作認識と検索を含む2つの下流タスクにおいて, 教師なしスケルトンに基づく動作表現学習の最先端を達成し, 学習された動作表現は良好な伝達性を有することが示された。 また,本フレームワークは半教師付き骨格に基づく行動認識にも有効であることを示す。 私たちのコードはhttps://github.com/huiguanlab/hicoで利用可能です。

関連論文リスト

• It Takes Two: Accurate Gait Recognition in the Wild via Cross-granularity Alignment [72.75844404617959]
  本稿では,XGait という新しい粒度アライメント歩行認識手法を提案する。 この目的を達成するために、XGaitはまず2つのバックボーンエンコーダの分岐を含み、シルエットシーケンスとパーシングシーケンスを2つの潜在空間にマッピングする。 2つの大規模な歩行データセットの総合的な実験では、ランク1の精度が80.5%、CCPGが88.3%である。
  論文  参考訳（メタデータ） (2024-11-16T08:54:27Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Spatial-Temporal Decoupling Contrastive Learning for Skeleton-based Human Action Recognition [10.403751563214113]
  STD-CLは、配列から識別的および意味的に異なる表現を得るためのフレームワークである。 STD-CLは、NTU60、NTU120、NW-UCLAベンチマークでしっかりと改善されている。
  論文  参考訳（メタデータ） (2023-12-23T02:54:41Z)
• C2F-TCN: A Framework for Semi and Fully Supervised Temporal Action Segmentation [20.182928938110923]
  時間的アクションセグメンテーションタグは、シーケンス内の複数のアクションを含む入力未トリミングビデオの各フレームに対するアクションラベルである。 我々は,デコーダ出力の粗大なアンサンブルを特徴とする,C2F-TCNというエンコーダ-デコーダスタイルのアーキテクチャを提案する。 アーキテクチャは教師付き学習と表現学習の両方に柔軟であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T14:53:46Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
  セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。 まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
  論文  参考訳（メタデータ） (2022-03-25T01:24:24Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)
• SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning [114.58986229852489]
  本稿では,空間的,シーケンシャル,時間的観点から,シーケンスの基本的および汎用的な監視について検討する。 私たちはContrastive Learning(SeCo)という特定の形式を導き出します。 SeCoは、アクション認識、未トリムアクティビティ認識、オブジェクト追跡に関する線形プロトコルにおいて、優れた結果を示す。
  論文  参考訳（メタデータ） (2020-08-03T15:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。