論文の概要: Enhancing Action Recognition from Low-Quality Skeleton Data via Part-Level Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2404.18206v1
• Date: Sun, 28 Apr 2024 14:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 15:35:41.271670
• Title: Enhancing Action Recognition from Low-Quality Skeleton Data via Part-Level Knowledge Distillation
• Title（参考訳）: 部分レベル知識蒸留による低品質骨格データからの行動認識の促進
• Authors: Cuiwei Liu, Youzhi Jiang, Chong Du, Zhaokui Li,
• Abstract要約: 本稿では,低品質骨格を用いた行動認識の高度化という課題を,一般知識蒸留フレームワークを通じて解決する。 高品質スケルトンで訓練された教師モデルは、低品質スケルトンを扱う学生モデルの学習を導く。 新たな部分レベルのマルチサンプル・コントラスト損失は、複数の高品質の骨格から低品質の骨格への知識伝達を実現する。
• 参考スコア（独自算出の注目度）: 2.414642724251867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skeleton-based action recognition is vital for comprehending human-centric videos and has applications in diverse domains. One of the challenges of skeleton-based action recognition is dealing with low-quality data, such as skeletons that have missing or inaccurate joints. This paper addresses the issue of enhancing action recognition using low-quality skeletons through a general knowledge distillation framework. The proposed framework employs a teacher-student model setup, where a teacher model trained on high-quality skeletons guides the learning of a student model that handles low-quality skeletons. To bridge the gap between heterogeneous high-quality and lowquality skeletons, we present a novel part-based skeleton matching strategy, which exploits shared body parts to facilitate local action pattern learning. An action-specific part matrix is developed to emphasize critical parts for different actions, enabling the student model to distill discriminative part-level knowledge. A novel part-level multi-sample contrastive loss achieves knowledge transfer from multiple high-quality skeletons to low-quality ones, which enables the proposed knowledge distillation framework to include training low-quality skeletons that lack corresponding high-quality matches. Comprehensive experiments conducted on the NTU-RGB+D, Penn Action, and SYSU 3D HOI datasets demonstrate the effectiveness of the proposed knowledge distillation framework.
• Abstract（参考訳）: 骨格に基づく行動認識は、人間中心のビデオの理解に不可欠であり、様々な領域で応用されている。 骨格に基づく行動認識の課題の1つは、関節の欠如や不正確な骨格のような低品質のデータを扱うことである。 本稿では,低品質骨格を用いた行動認識の高度化という課題を,一般知識蒸留フレームワークを通じて解決する。 提案フレームワークでは,高品質な骨格を訓練した教師モデルを用いて,低品質な骨格を扱う学生モデルの学習を指導する。 異種質の高品質骨格と低品質骨格のギャップを埋めるために, 局所的な動作パターン学習を容易にするために, 共用体部品を利用する新しい部分ベースの骨格マッチング戦略を提案する。 行動特異的な部分行列は、異なる行動に対する重要な部分を強調するために開発され、学生モデルは識別的部分レベルの知識を蒸留することができる。 新規な部分レベルマルチサンプルコントラスト損失は,複数の高品質スケルトンから低品質スケルトンへの知識伝達を実現する。 NTU-RGB+D, Penn Action, SYSU 3D HOIデータセットを用いた総合的な実験により,提案手法の有効性が示された。

関連論文リスト

• Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning [20.325924702966084]
  クロスモーダル・コントラッシブ・ラーニングに基づく新しいスケルトンベースのトレーニング・フレームワークを提案する。 我々は、視覚言語知識プロンプトを通じて、視覚言語行動概念空間を確立する。 そこで本研究では,モーダル内自己相似性とモーダル間相互整合性を軟化するターゲットを,モーダル間コントラストプロセスにおいて提案する。
  論文  参考訳（メタデータ） (2024-05-31T03:40:15Z)
• SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
  SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。 まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。 次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2023-09-20T16:22:33Z)
• Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard Skeleton Mining for Unsupervised Person Re-Identification [70.90142717649785]
  本稿では,HSM(Hard Skeleton Mining)を用いた階層型非教師付きメタプロトタイプコントラストラーニング(Hi-MPC)手法を提案する。 原原型を複数の同種変換を伴うメタプロトタイプに変換することにより,原型固有の一貫性を学習し,人体再IDのより効果的な骨格特徴を捉える。
  論文  参考訳（メタデータ） (2023-07-24T16:18:22Z)
• SkeletonMAE: Graph-based Masked Autoencoder for Skeleton Sequence Pre-training [110.55093254677638]
  我々はSkeleton Sequence Learning(SSL)という,効率的なスケルトンシーケンス学習フレームワークを提案する。 本論文では,SkeletonMAEという非対称なグラフベースのエンコーダデコーダ事前学習アーキテクチャを構築する。 我々のSSLは、さまざまなデータセットにまたがってうまく一般化し、最先端の自己教師型スケルトンベースのアクション認識手法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T13:33:11Z)
• Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation Modeling for Unsupervised Person Re-Identification [63.903237777588316]
  3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。 既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。 本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:59:32Z)
• SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification [63.903237777588316]
  SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。 具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。 そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:19:38Z)
• Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
  本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-08T14:44:59Z)
• JOLO-GCN: Mining Joint-Centered Light-Weight Information for Skeleton-Based Action Recognition [47.47099206295254]
  本稿では,2ストリームグラフ畳み込みネットワークにおいて,人間のポーズスケルトンと共同中心の軽量情報を活用するための新しいフレームワークを提案する。 純粋なスケルトンベースのベースラインと比較して、このハイブリッドスキームは、計算とメモリのオーバーヘッドを低く保ちながら、性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2020-11-16T08:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。