論文の概要: Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition

• arxiv url: http://arxiv.org/abs/2207.08095v1
• Date: Sun, 17 Jul 2022 07:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 16:36:34.118954
• Title: Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition
• Title（参考訳）: クロスデータセット骨格に基づく行動認識のための時空間キュービズムからの学習
• Authors: Yansong Tang, Xingyu Liu, Xumin Yu, Danyang Zhang, Jiwen Lu, Jie Zhou
• Abstract要約: アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
• 参考スコア（独自算出の注目度）: 88.34182299496074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid progress and superior performance have been achieved for skeleton-based action recognition recently. In this article, we investigate this problem under a cross-dataset setting, which is a new, pragmatic, and challenging task in real-world scenarios. Following the unsupervised domain adaptation (UDA) paradigm, the action labels are only available on a source dataset, but unavailable on a target dataset in the training stage. Different from the conventional adversarial learning-based approaches for UDA, we utilize a self-supervision scheme to reduce the domain shift between two skeleton-based action datasets. Our inspiration is drawn from Cubism, an art genre from the early 20th century, which breaks and reassembles the objects to convey a greater context. By segmenting and permuting temporal segments or human body parts, we design two self-supervised learning classification tasks to explore the temporal and spatial dependency of a skeleton-based action and improve the generalization ability of the model. We conduct experiments on six datasets for skeleton-based action recognition, including three large-scale datasets (NTU RGB+D, PKU-MMD, and Kinetics) where new cross-dataset settings and benchmarks are established. Extensive results demonstrate that our method outperforms state-of-the-art approaches. The source codes of our model and all the compared methods are available at https://github.com/shanice-l/st-cubism.
• Abstract（参考訳）: 近年,骨格に基づく行動認識において,急速な進歩と優れた性能が達成されている。 本稿では,実世界のシナリオにおいて,新しい,実用的で困難な課題であるクロスデータセット設定の下でこの問題を考察する。 unsupervised domain adaptation (uda)パラダイムに従って、アクションラベルはソースデータセットでのみ使用可能だが、トレーニングステージではターゲットデータセットでは使用できない。 UDAの従来の逆学習に基づくアプローチとは異なり、我々は2つの骨格に基づく行動データセット間のドメインシフトを減らすために自己超越スキームを利用する。 私たちのインスピレーションは20世紀初頭の芸術ジャンルであるカビズム(cubism)から来ています。 時間的セグメントや人体部分のセグメンテーションとパータスクによって、骨格に基づく行動の時間的および空間的依存性を探索し、モデルの一般化能力を向上させるために、2つの自己教師付き学習分類タスクを設計する。 我々は,3つの大規模データセット(NTU RGB+D, PKU-MMD, Kinetics)を含む骨格に基づく行動認識のための6つのデータセットの実験を行った。 その結果,本手法は最先端手法よりも優れていた。 我々のモデルと比較したメソッドのソースコードはhttps://github.com/shanice-l/st-cubism.comで入手できる。

関連論文リスト

• iNeMo: Incremental Neural Mesh Models for Robust Class-Incremental Learning [22.14627083675405]
  我々は、時間とともに新しいメッシュで拡張できるインクリメンタルニューラルネットワークモデルを提案する。 本研究では,Pascal3DおよびObjectNet3Dデータセットの広範な実験を通して,本手法の有効性を実証する。 我々の研究は、ポーズ推定のための最初の漸進的な学習手法も提示している。
  論文  参考訳（メタデータ） (2024-07-12T13:57:49Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Navigating Open Set Scenarios for Skeleton-based Action Recognition [45.488649741347]
  探索されていないオープンセット骨格に基づく行動認識(OS-SAR)課題に取り組む。 そこで本稿では, 骨格関節, 骨, 速度の相互アライメントを利用した距離に基づく相互モーダル法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:29:32Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition [49.163326827954656]
  骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-08-10T09:25:07Z)
• Skeleton Split Strategies for Spatial Temporal Graph Convolution Networks [2.132096006921048]
  人体の骨格表現は、この作業に有効であることが証明されている。 骨格グラフ上で畳み込み操作を行うための新しい手法のセットを示す。
  論文  参考訳（メタデータ） (2021-08-03T05:57:52Z)
• UNIK: A Unified Framework for Real-world Skeleton-based Action Recognition [11.81043814295441]
  UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。 実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。 その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-19T02:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。