論文の概要: Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition

• arxiv url: http://arxiv.org/abs/2411.11288v1
• Date: Mon, 18 Nov 2024 05:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:05.374484
• Title: Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition
• Title（参考訳）: ニューロン:ゼロショット骨格行動認識のための文脈認識の学習
• Authors: Yang Chen, Jingcai Guo, Song Guo, Dacheng Tao,
• Abstract要約: 本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。 まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。 本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
• 参考スコア（独自算出の注目度）: 64.56321246196859
• License:
• Abstract: Zero-shot skeleton action recognition is a non-trivial task that requires robust unseen generalization with prior knowledge from only seen classes and shared semantics. Existing methods typically build the skeleton-semantics interactions by uncontrollable mappings and conspicuous representations, thereby can hardly capture the intricate and fine-grained relationship for effective cross-modal transferability. To address these issues, we propose a novel dyNamically Evolving dUal skeleton-semantic syneRgistic framework with the guidance of cOntext-aware side informatioN (dubbed Neuron), to explore more fine-grained cross-modal correspondence from micro to macro perspectives at both spatial and temporal levels, respectively. Concretely, 1) we first construct the spatial-temporal evolving micro-prototypes and integrate dynamic context-aware side information to capture the intricate and synergistic skeleton-semantic correlations step-by-step, progressively refining cross-model alignment; and 2) we introduce the spatial compression and temporal memory mechanisms to guide the growth of spatial-temporal micro-prototypes, enabling them to absorb structure-related spatial representations and regularity-dependent temporal patterns. Notably, such processes are analogous to the learning and growth of neurons, equipping the framework with the capacity to generalize to novel unseen action categories. Extensive experiments on various benchmark datasets demonstrated the superiority of the proposed method.
• Abstract（参考訳）: ゼロショットスケルトン行動認識は非自明なタスクであり、目に見えないクラスと共有セマンティクスのみからの事前知識で、堅牢で見つからない一般化を必要とする。 既存の手法は通常、制御不能なマッピングと顕著な表現によって骨格-意味の相互作用を構築するため、効果的なクロスモーダル・トランスファービリティーのための複雑できめ細かな関係を捉えることは困難である。 これらの課題に対処するため,我々は,cOntext-aware side informatioN (dubed Neuron) を用いて,dUalスケルトン・セマンティック・シンセジスティック・フレームワークを進化させる新しいdyNamically Evolving dyNamically Evolving dUal skeleton-semantic syneRgistic frameworkを提案する。 具体的には 1) 時空間進化型マイクロプロトタイプを最初に構築し, 動的文脈認識側情報を統合し, 複雑でシナジスティックな骨格-意味的相関関係を段階的に把握し, クロスモデルアライメントを段階的に改善する。 2) 空間的圧縮と時間的記憶機構を導入し, 空間的空間的表現や規則性に依存した時間的パターンを吸収できるようにした。 特に、そのようなプロセスはニューロンの学習と成長に類似しており、新しい未知のアクションカテゴリに一般化する能力を持つ。 様々なベンチマークデータセットに対する大規模な実験により,提案手法の優位性を実証した。

関連論文リスト

• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Spatial-Temporal Decoupling Contrastive Learning for Skeleton-based Human Action Recognition [10.403751563214113]
  STD-CLは、配列から識別的および意味的に異なる表現を得るためのフレームワークである。 STD-CLは、NTU60、NTU120、NW-UCLAベンチマークでしっかりと改善されている。
  論文  参考訳（メタデータ） (2023-12-23T02:54:41Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• Multi-task Collaborative Pre-training and Individual-adaptive-tokens Fine-tuning: A Unified Framework for Brain Representation Learning [3.1453938549636185]
  協調的事前学習と個別学習を組み合わせた統合フレームワークを提案する。 提案したMCIATはADHD-200データセット上で最先端の診断性能を実現する。
  論文  参考訳（メタデータ） (2023-06-20T08:38:17Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Complementary Structure-Learning Neural Networks for Relational Reasoning [3.528645587678267]
  海馬におけるパターン分離は,新しい環境下での迅速な学習を可能にすることを示す。 ネオコルテックスのゆっくりとした学習は、よく学習された環境から体系的な構造を抽出するために小さな重量変化を蓄積する。
  論文  参考訳（メタデータ） (2021-05-19T06:25:21Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。