論文の概要: Zero-Shot Skeleton-based Action Recognition with Dual Visual-Text Alignment

• arxiv url: http://arxiv.org/abs/2409.14336v1
• Date: Sun, 22 Sep 2024 06:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 23:04:03.973561
• Title: Zero-Shot Skeleton-based Action Recognition with Dual Visual-Text Alignment
• Title（参考訳）: デュアルビジュアルテキストアライメントを用いたゼロショット骨格に基づく行動認識
• Authors: Jidong Kuang, Hongsong Wang, Chaolei Han, Jie Gui,
• Abstract要約: ゼロショットアクション認識の鍵は、視覚的特徴をアクションカテゴリを表す意味ベクトルと整合させることにある。 提案手法は、一般的なゼロショットスケルトンに基づく動作認識ベンチマークにおいて、最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 11.72557768532557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot action recognition, which addresses the issue of scalability and generalization in action recognition and allows the models to adapt to new and unseen actions dynamically, is an important research topic in computer vision communities. The key to zero-shot action recognition lies in aligning visual features with semantic vectors representing action categories. Most existing methods either directly project visual features onto the semantic space of text category or learn a shared embedding space between the two modalities. However, a direct projection cannot accurately align the two modalities, and learning robust and discriminative embedding space between visual and text representations is often difficult. To address these issues, we introduce Dual Visual-Text Alignment (DVTA) for skeleton-based zero-shot action recognition. The DVTA consists of two alignment modules-Direct Alignment (DA) and Augmented Alignment (AA)-along with a designed Semantic Description Enhancement (SDE). The DA module maps the skeleton features to the semantic space through a specially designed visual projector, followed by the SDE, which is based on cross-attention to enhance the connection between skeleton and text, thereby reducing the gap between modalities. The AA module further strengthens the learning of the embedding space by utilizing deep metric learning to learn the similarity between skeleton and text. Our approach achieves state-of-the-art performances on several popular zero-shot skeleton-based action recognition benchmarks.
• Abstract（参考訳）: ゼロショットアクション認識(ゼロショットアクション認識)は、アクション認識におけるスケーラビリティと一般化の問題に対処し、新しいアクションや見えないアクションに動的に適応できるようにする。 ゼロショットアクション認識の鍵は、視覚的特徴とアクションカテゴリを表す意味ベクトルの整合にある。 既存のほとんどの手法は、視覚的特徴を直接テキストカテゴリのセマンティック空間に投影するか、2つのモード間の共有埋め込み空間を学習する。 しかし、直接投影は2つのモダリティを正確に整合させることはできず、視覚的表現とテキスト表現の間の堅牢で差別的な埋め込み空間を学習することはしばしば困難である。 これらの問題に対処するために、骨格に基づくゼロショット動作認識のためのデュアルビジュアルテキストアライメント(DVTA)を導入する。 DVTAは2つのアライメントモジュール、DA(Direct Alignment)とAugmented Alignment(Augmented Alignment)で構成され、SDE(Semantic Description Enhancement)が設計されている。 DAモジュールは、特別に設計された視覚プロジェクタを通して、骨格の特徴を意味空間にマッピングし、SDEは、スケルトンとテキストの接続を強化するために、相互アテンションに基づいて、モダリティ間のギャップを減らす。 AAモジュールは、深いメートル法学習を利用して埋め込み空間の学習を強化し、骨格とテキストの類似性を学ぶ。 提案手法は、一般的なゼロショットスケルトンに基づく動作認識ベンチマークにおいて、最先端のパフォーマンスを実現する。

関連論文リスト

• Language-Assisted Human Part Motion Learning for Skeleton-Based Temporal Action Segmentation [11.759374280422113]
  骨格に基づくテンポラルアクションは、可変長の骨格配列の高密度な作用分類を含む。 現在のアプローチでは、グラフベースのネットワークを使用して、フレーム単位の全体レベルの動作表現を抽出している。 本稿では,LPL(Language-assisted Human Part Motion Representation)という手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T20:42:51Z)
• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• Dual Relation Mining Network for Zero-Shot Learning [48.89161627050706]
  本稿では,効果的な視覚・意味的相互作用を実現し,知識伝達のための属性間の意味的関係を学習するためのDual Relation Mining Network(DRMN)を提案する。 具体的には,多層的特徴融合により視覚情報を強化する視覚・意味的関係マイニングのためのデュアルアテンションブロック(DAB)を提案する。 セマンティック・インタラクション・トランスフォーマ(SIT)を用いて画像間の属性表現の一般化を促進する。
  論文  参考訳（メタデータ） (2024-05-06T16:31:19Z)
• Exploring Interactive Semantic Alignment for Efficient HOI Detection with Vision-language Model [3.3772986620114387]
  ISA-HOIはCLIPからの知識を広範囲に活用し,視覚的特徴とテキスト的特徴の対話的意味論を整合させる。 本手法は, HICO-DETとV-COCOのベンチマークにおいて, トレーニングエポックがはるかに少なく, ゼロショット環境下での最先端性能を向上する。
  論文  参考訳（メタデータ） (2024-04-19T07:24:32Z)
• Fine-Grained Side Information Guided Dual-Prompts for Zero-Shot Skeleton Action Recognition [18.012159340628557]
  そこで本研究では,スケルトンに基づくゼロショット動作認識(STAR)のための,サイド情報とデュアルプロンプト学習による新しい手法を提案する。 本手法は,データセット上でのZSLおよびGZSL設定における最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-11T05:51:06Z)
• Zero-shot Skeleton-based Action Recognition via Mutual Information Estimation and Maximization [26.721082316870532]
  ゼロショットスケルトンに基づくアクション認識は、観察されたカテゴリのデータに基づいてトレーニングした後、目に見えないカテゴリのアクションを認識することを目的としている。 相互情報(MI)推定と推定によるゼロショットスケルトンに基づく新しい行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T23:41:55Z)
• Part-aware Prototypical Graph Network for One-shot Skeleton-based Action Recognition [57.86960990337986]
  ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。 単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。 本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
  論文  参考訳（メタデータ） (2022-08-19T04:54:56Z)
• Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
  我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。 我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。 実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
  論文  参考訳（メタデータ） (2022-05-03T17:39:27Z)
• Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
  IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。 IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。 IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
  論文  参考訳（メタデータ） (2021-03-02T08:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。