論文の概要: Learning Discriminative Representations for Skeleton Based Action
Recognition
- arxiv url: http://arxiv.org/abs/2303.03729v1
- Date: Tue, 7 Mar 2023 08:37:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 15:57:25.598692
- Title: Learning Discriminative Representations for Skeleton Based Action
Recognition
- Title(参考訳): スケルトンに基づく行動認識のための学習識別表現
- Authors: Huanyu Zhou, Qingjie Liu, Yunhong Wang
- Abstract要約: 本稿では,骨格の識別表現を得るために,補助機能改善ヘッド(FRヘッド)を提案する。
提案したモデルでは,最先端手法による競合結果が得られ,あいまいなサンプルの識別に役立てることができる。
- 参考スコア(独自算出の注目度): 49.45405879193866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human action recognition aims at classifying the category of human action
from a segment of a video. Recently, people dive into designing GCN-based
models to extract features from skeletons for performing this task, because
skeleton representations are much efficient and robust than other modalities
such as RGB frames. However, when employing the skeleton data, some important
clues like related items are also dismissed. It results in some ambiguous
actions that are hard to be distinguished and tend to be misclassified. To
alleviate this problem, we propose an auxiliary feature refinement head (FR
Head), which consists of spatial-temporal decoupling and contrastive feature
refinement, to obtain discriminative representations of skeletons. Ambiguous
samples are dynamically discovered and calibrated in the feature space.
Furthermore, FR Head could be imposed on different stages of GCNs to build a
multi-level refinement for stronger supervision. Extensive experiments are
conducted on NTU RGB+D, NTU RGB+D 120, and NW-UCLA datasets. Our proposed
models obtain competitive results from state-of-the-art methods and can help to
discriminate those ambiguous samples.
- Abstract(参考訳): 人間の行動認識は、ビデオのセグメントから人間の行動のカテゴリを分類することを目的としている。
近年, 骨格表現はRGBフレームなどの他のモダリティよりも効率的で堅牢であるため, GCNベースのモデルの設計に没頭して, 作業を行うスケルトンの特徴を抽出している。
しかし、骨格データを利用する際には、関連する項目などの重要な手がかりも取り除かれる。
その結果、区別が困難で、誤分類される傾向がある曖昧な行動が発生する。
この問題を軽減するために,空間的時間的疎結合とコントラスト的特徴精錬からなる補助的特徴精錬ヘッド(FRヘッド)を提案し,骨格の識別的表現を得る。
異常サンプルは特徴空間で動的に発見され、校正される。
さらに、FRヘッドはGCNの様々な段階に課せられ、より強力な監督のための多段改良が図られた。
NTU RGB+D、NTU RGB+D 120、NW-UCLAデータセットに対して大規模な実験を行った。
提案したモデルでは,最先端手法による競合結果が得られ,あいまいなサンプルの識別に役立てることができる。
関連論文リスト
- An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳(メタデータ) (2024-06-02T06:53:01Z) - Spatial-Temporal Decoupling Contrastive Learning for Skeleton-based
Human Action Recognition [10.403751563214113]
STD-CLは、配列から識別的および意味的に異なる表現を得るためのフレームワークである。
STD-CLは、NTU60、NTU120、NW-UCLAベンチマークでしっかりと改善されている。
論文 参考訳(メタデータ) (2023-12-23T02:54:41Z) - Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions [11.121652649243119]
拡散モデルは、データ生成において顕著な多様性のため、データ拡張において広く採用されている。
詳細強化拡散モデル(DRDM)と呼ばれる新しい手法を提案する。
大規模モデルの豊富な知識を微粒化に活用し、識別的意味的組換え(DSR)と空間的知識参照(SKR)の2つの重要な構成要素を含む。
論文 参考訳(メタデータ) (2023-09-15T01:28:59Z) - Pose-Guided Graph Convolutional Networks for Skeleton-Based Action
Recognition [32.07659338674024]
グラフ畳み込みネットワーク(GCN)は、人体骨格を空間的および時間的グラフとしてモデル化することができる。
本研究では,高性能な人行動認識のためのマルチモーダルフレームワークとして,ポーズ誘導型GCN(PG-GCN)を提案する。
このモジュールの中核となる考え方は、トレーニング可能なグラフを使用して、スケルトンストリームから、ポーズストリームの機能を集約することで、より堅牢な機能表現能力を持つネットワークを実現することだ。
論文 参考訳(メタデータ) (2022-10-10T02:08:49Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Skeleton-based Action Recognition via Adaptive Cross-Form Learning [75.92422282666767]
スケルトンをベースとした行動認識は、骨格配列をアクションカテゴリに投影することを目的としており、配列は事前に検出された複数の点から導出される。
既存の方法は、相補的なキューのために多形骨格を活用することでGCNを改善する傾向にある。
本稿では,適応型クロスフォーム学習(ACFL)を提案する。
論文 参考訳(メタデータ) (2022-06-30T07:40:03Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - Skeleton Focused Human Activity Recognition in RGB Video [11.521107108725188]
骨格とRGBの両モードを併用したマルチモーダル特徴融合モデルを提案する。
モデルは、エンドツーエンドの方法で、バックプロパゲーションアルゴリズムによって個別または均一にトレーニングすることができる。
論文 参考訳(メタデータ) (2020-04-29T06:40:42Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳(メタデータ) (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。