論文の概要: Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning
- arxiv url: http://arxiv.org/abs/2405.20606v1
- Date: Fri, 31 May 2024 03:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 15:36:24.126628
- Title: Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning
- Title（参考訳）: 3次元行動表現学習のためのクロスモーダル知識による段階的蒸留
- Authors: Yang Chen, Tian He, Junfeng Fu, Ling Wang, Jingcai Guo, Hong Cheng,
- Abstract要約: クロスモーダル・コントラッシブ・ラーニングに基づく新しいスケルトンベースのトレーニング・フレームワークを提案する。
我々は、視覚言語知識プロンプトを通じて、視覚言語行動概念空間を確立する。
そこで本研究では,モーダル内自己相似性とモーダル間相互整合性を軟化するターゲットを,モーダル間コントラストプロセスにおいて提案する。
- 参考スコア（独自算出の注目度）: 20.325924702966084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised and self-supervised learning are two main training paradigms for skeleton-based human action recognition. However, the former one-hot classification requires labor-intensive predefined action categories annotations, while the latter involves skeleton transformations (e.g., cropping) in the pretext tasks that may impair the skeleton structure. To address these challenges, we introduce a novel skeleton-based training framework (C$^2$VL) based on Cross-modal Contrastive learning that uses the progressive distillation to learn task-agnostic human skeleton action representation from the Vision-Language knowledge prompts. Specifically, we establish the vision-language action concept space through vision-language knowledge prompts generated by pre-trained large multimodal models (LMMs), which enrich the fine-grained details that the skeleton action space lacks. Moreover, we propose the intra-modal self-similarity and inter-modal cross-consistency softened targets in the cross-modal contrastive process to progressively control and guide the degree of pulling vision-language knowledge prompts and corresponding skeletons closer. These soft instance discrimination and self-knowledge distillation strategies contribute to the learning of better skeleton-based action representations from the noisy skeleton-vision-language pairs. During the inference phase, our method requires only the skeleton data as the input for action recognition and no longer for vision-language prompts. Extensive experiments show that our method achieves state-of-the-art results on NTU RGB+D 60, NTU RGB+D 120, and PKU-MMD datasets. The code will be available in the future.
- Abstract（参考訳）: 教師付きおよび自己教師型学習は、骨格に基づく人間の行動認識のための2つの主要な訓練パラダイムである。
しかしながら、以前のワンホット分類では、労働集約的な事前定義されたアクションカテゴリアノテーションを必要とし、後者は、骨格構造を損なう可能性のあるプリテキストタスクにおける骨格変換(例えば、収穫)を含む。
これらの課題に対処するために, プログレッシブ蒸留を用いたクロスモーダルコントラスト学習に基づく新しいスケルトンベースのトレーニングフレームワーク(C$^2$VL)を導入する。
具体的には、事前に訓練された大型マルチモーダルモデル(LMM)によって生成される視覚言語知識プロンプトを用いて、視覚言語行動概念空間を確立する。
さらに,モーダル内自己相似性と,モーダル間相互整合性の軟化目標を提案する。
これらの柔らかいインスタンス識別と自己知識蒸留戦略は、ノイズの多い骨格ビジョン言語対からのより良い骨格に基づく行動表現の学習に寄与する。
推論フェーズでは,動作認識のための入力として骨格データのみが必要であり,視覚言語的なプロンプトは不要である。
実験の結果,NTU RGB+D 60, NTU RGB+D 120, PKU-MMDデータセットについて, 実験結果が得られた。
コードは将来的に利用可能になる予定だ。
関連論文リスト
- Self-Supervised Skeleton Action Representation Learning: A Benchmark and Beyond [19.074841631219233]
自己教師付き学習(SSL)はラベル効率のよい骨格に基づく行動理解に有効であることが証明されている。
最近のスケルトンベースのSSLへの取り組みは目覚ましい進歩を遂げている。
本稿では,自己教師型骨格に基づく行動表現学習に関する包括的調査を行う。
論文 参考訳（メタデータ） (2024-06-05T06:21:54Z) - An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:53:01Z) - Fine-Grained Side Information Guided Dual-Prompts for Zero-Shot Skeleton Action Recognition [18.012159340628557]
そこで本研究では,スケルトンに基づくゼロショット動作認識(STAR)のための,サイド情報とデュアルプロンプト学習による新しい手法を提案する。
本手法は,データセット上でのZSLおよびGZSL設定における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-04-11T05:51:06Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - DiMBERT: Learning Vision-Language Grounded Representations with
Disentangled Multimodal-Attention [101.99313208598569]
視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。
視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。
DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
論文 参考訳（メタデータ） (2022-10-28T23:00:40Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - SimMC: Simple Masked Contrastive Learning of Skeleton Representations
for Unsupervised Person Re-Identification [63.903237777588316]
SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。
具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。
そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
論文 参考訳（メタデータ） (2022-04-21T00:19:38Z) - Joint-bone Fusion Graph Convolutional Network for Semi-supervised
Skeleton Action Recognition [65.78703941973183]
本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。
具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。
自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
論文 参考訳（メタデータ） (2022-02-08T16:03:15Z) - Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。
提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-08-08T14:44:59Z) - MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action
Recognition [36.74293548921099]
動作予測,ジグソーパズル認識,コントラスト学習を統合し,異なる側面から骨格の特徴を学習する。
NW-UCLA, NTU RGB+D, PKUMMDデータセットを用いた実験は, 行動認識における顕著な性能を示した。
論文 参考訳（メタデータ） (2020-10-12T11:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。