論文の概要: Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition

• arxiv url: http://arxiv.org/abs/2406.13327v1
• Date: Wed, 19 Jun 2024 08:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 22:40:02.319239
• Title: Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition
• Title（参考訳）: ゼロショット動作認識のための部分認識型言語と骨格表現
• Authors: Anqi Zhu, Qiuhong Ke, Mingming Gong, James Bailey,
• Abstract要約: 本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。 本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。 その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
• 参考スコア（独自算出の注目度）: 57.97930719585095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While remarkable progress has been made on supervised skeleton-based action recognition, the challenge of zero-shot recognition remains relatively unexplored. In this paper, we argue that relying solely on aligning label-level semantics and global skeleton features is insufficient to effectively transfer locally consistent visual knowledge from seen to unseen classes. To address this limitation, we introduce Part-aware Unified Representation between Language and Skeleton (PURLS) to explore visual-semantic alignment at both local and global scales. PURLS introduces a new prompting module and a novel partitioning module to generate aligned textual and visual representations across different levels. The former leverages a pre-trained GPT-3 to infer refined descriptions of the global and local (body-part-based and temporal-interval-based) movements from the original action labels. The latter employs an adaptive sampling strategy to group visual features from all body joint movements that are semantically relevant to a given description. Our approach is evaluated on various skeleton/language backbones and three large-scale datasets, i.e., NTU-RGB+D 60, NTU-RGB+D 120, and a newly curated dataset Kinetics-skeleton 200. The results showcase the universality and superior performance of PURLS, surpassing prior skeleton-based solutions and standard baselines from other domains. The source codes can be accessed at https://github.com/azzh1/PURLS.
• Abstract（参考訳）: 骨格に基づく行動認識は目覚ましい進歩を遂げているが、ゼロショット認識の課題はいまだに解明されていない。 本稿では,ラベルレベルのセマンティクスとグローバルスケルトンの特徴の整合性のみに頼っているだけでは,視覚的知識の局所的一貫した理解を,見知らぬクラスへ効果的に伝達できないことを論じる。 この制限に対処するため,言語と骨格間の統一表現(PURLS)を導入し,局所的・グローバル的に視覚的セマンティックなアライメントを探索する。 PURLSは新しいプロンプトモジュールと新しいパーティショニングモジュールを導入し、異なるレベルのテキストおよびビジュアル表現を生成する。 前者はトレーニング済みのGPT-3を利用して、元のアクションラベルからグローバルおよびローカル(ボディ部分ベースおよび時間間隔ベース)の動きの洗練された記述を推測する。 後者は、与えられた記述に意味的に関係するすべての身体関節運動から視覚的特徴をグループ化する適応的なサンプリング戦略を採用している。 提案手法は,NTU-RGB+D 60,NTU-RGB+D 120,Kinetics-skeleton 200の3つの大規模データセットと骨格/言語バックボーンを用いて評価した。 その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。 ソースコードはhttps://github.com/azzh1/PURLSでアクセスできる。

関連論文リスト

• Part Aware Contrastive Learning for Self-Supervised Action Recognition [18.423841093299135]
  本稿では,骨格表現学習のための注意に基づくコントラスト学習フレームワークであるSkeAttnCLRを提案する。 提案するSkeAttnCLRはNTURGB+D, NTU120-RGB+D, PKU-MMDデータセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2023-05-01T05:31:48Z)
• LANDMARK: Language-guided Representation Enhancement Framework for Scene Graph Generation [34.40862385518366]
  シーングラフ生成(SGG)は複雑な視覚的特徴とデータセットの長い問題の両方に悩まされる高度なタスクである。 言語ビジョンの対話パターンから述語関連表現を学習するLANDMARK(LANguage-guided representationenhanceMent frAmewoRK)を提案する。 このフレームワークはモデルに依存しず、既存のSGGモデルの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-03-02T09:03:11Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• Part-aware Prototypical Graph Network for One-shot Skeleton-based Action Recognition [57.86960990337986]
  ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。 単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。 本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
  論文  参考訳（メタデータ） (2022-08-19T04:54:56Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
  グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。 近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。 近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
  論文  参考訳（メタデータ） (2022-03-31T02:45:24Z)
• UNIK: A Unified Framework for Real-world Skeleton-based Action Recognition [11.81043814295441]
  UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。 実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。 その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-19T02:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。