論文の概要: Spatiotemporal Decouple-and-Squeeze Contrastive Learning for
Semi-Supervised Skeleton-based Action Recognition
- arxiv url: http://arxiv.org/abs/2302.02316v1
- Date: Sun, 5 Feb 2023 06:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 18:52:23.993171
- Title: Spatiotemporal Decouple-and-Squeeze Contrastive Learning for
Semi-Supervised Skeleton-based Action Recognition
- Title（参考訳）: 半教師付きスケルトンに基づく行動認識のための時空間的デコプル・アンド・スキーズコントラスト学習
- Authors: Binqian Xu, Xiangbo Shu
- Abstract要約: 骨格に基づく行動のより豊富な表現を学習するための新しいSDS-CL(Stemporal Deouple Contrastive Learning)フレームワークを提案する。
我々は,新しいテンポラル・スクイージング・ロス(STL),新しいテンポラル・スクイージング・ロス(TSL),およびグローバル・コントラスト・ロス(GL)を,フレームレベルでの空間的スクイージング関節と運動の特徴,関節レベルでの時間的スクイージング関節と運動の特徴,および骨格レベルでのグローバルな関節と運動特徴とを対比するために提示する。
- 参考スコア（独自算出の注目度）: 12.601122522537459
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has been successfully leveraged to learn action
representations for addressing the problem of semi-supervised skeleton-based
action recognition. However, most contrastive learning-based methods only
contrast global features mixing spatiotemporal information, which confuses the
spatial- and temporal-specific information reflecting different semantic at the
frame level and joint level. Thus, we propose a novel Spatiotemporal
Decouple-and-Squeeze Contrastive Learning (SDS-CL) framework to comprehensively
learn more abundant representations of skeleton-based actions by jointly
contrasting spatial-squeezing features, temporal-squeezing features, and global
features. In SDS-CL, we design a new Spatiotemporal-decoupling Intra-Inter
Attention (SIIA) mechanism to obtain the spatiotemporal-decoupling attentive
features for capturing spatiotemporal specific information by calculating
spatial- and temporal-decoupling intra-attention maps among joint/motion
features, as well as spatial- and temporal-decoupling inter-attention maps
between joint and motion features. Moreover, we present a new Spatial-squeezing
Temporal-contrasting Loss (STL), a new Temporal-squeezing Spatial-contrasting
Loss (TSL), and the Global-contrasting Loss (GL) to contrast the
spatial-squeezing joint and motion features at the frame level,
temporal-squeezing joint and motion features at the joint level, as well as
global joint and motion features at the skeleton level. Extensive experimental
results on four public datasets show that the proposed SDS-CL achieves
performance gains compared with other competitive methods.
- Abstract（参考訳）: 対照的な学習は、半教師付きスケルトンに基づく行動認識の問題に対処するために行動表現を学ぶことに成功している。
しかし、最も対照的な学習ベース手法は、フレームレベルと関節レベルで異なる意味を反映する空間的・時間的固有情報を混乱させる時空間情報を混合するグローバルな特徴のみを対比する。
そこで本稿では,スケルトンに基づく行動のより豊富な表現を包括的に学習するために,空間的問合せ,時間的問合せ,グローバルな特徴を両立させる新しい時空間復号学習(SDS-CL)フレームワークを提案する。
SDS-CLでは, 時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間・時空間の地図を算出し, 時空間・時空間・時空間・時空間の具体的情報を取得するために, 時空間・時空間・時空間認識機構を新たに設計した。
さらに,新しい時空間コントラストロス(STL),新しい時空間コントラストロス(TSL),およびグローバルコントラストロス(GL)を,フレームレベルでの空間コントラスト関節と運動の特徴,関節レベルでの時間的コントラスト関節と運動の特徴,および骨格レベルでのグローバルジョイントと運動特徴とを対比するために提示する。
4つの公開データセットの大規模な実験結果から,提案したSDS-CLは,他の競合手法と比較して性能向上を達成した。
関連論文リスト
- Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition [64.56321246196859]
本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。
まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。
本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
論文 参考訳（メタデータ） (2024-11-18T05:16:11Z) - Spatial-Temporal Decoupling Contrastive Learning for Skeleton-based
Human Action Recognition [10.403751563214113]
STD-CLは、配列から識別的および意味的に異なる表現を得るためのフレームワークである。
STD-CLは、NTU60、NTU120、NW-UCLAベンチマークでしっかりと改善されている。
論文 参考訳（メタデータ） (2023-12-23T02:54:41Z) - SMC-NCA: Semantic-guided Multi-level Contrast for Semi-supervised Temporal Action Segmentation [53.010417880335424]
半教師付き時間的アクションセグメンテーション(SS-TA)は、長編ビデオにおいてフレームワイズ分類を行うことを目的としている。
近年の研究では、教師なし表現学習におけるコントラスト学習の可能性が示されている。
本稿では,SMC-NCA(Neighbourhood-Consistency-Aware Unit)を用いたセマンティック誘導型マルチレベルコントラスト方式を提案する。
論文 参考訳（メタデータ） (2023-12-19T17:26:44Z) - A Decoupled Spatio-Temporal Framework for Skeleton-based Action
Segmentation [89.86345494602642]
既存の手法は、弱い時間的モデリング能力に制限されている。
この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。
DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-12-10T09:11:39Z) - SCD-Net: Spatiotemporal Clues Disentanglement Network for
Self-supervised Skeleton-based Action Recognition [39.99711066167837]
本稿では、SCD-Net(Stemporal Clues Disentanglement Network)という、対照的な学習フレームワークを紹介する。
具体的には,これらのシーケンスを特徴抽出器と統合し,空間領域と時間領域からそれぞれ明確な手がかりを導出する。
我々は,NTU-+D (60&120) PKU-MMDI (&I) データセットの評価を行い,行動認識,行動検索,伝達学習などの下流タスクを網羅した。
論文 参考訳（メタデータ） (2023-09-11T21:32:13Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-02T12:04:28Z) - Spatio-temporal Diffusion Point Processes [23.74522530140201]
パティオ・テンポラル・ポイント・プロセス(英: patio-temporal point process、STPP)は、時間と空間を伴うイベントの集合である。
結合分布のモデル化に失敗すると、与えられた事象の過去の時間的相互作用を特徴づける能力は限られる。
複雑な時空間の関節分布を学習する新しいパラメータ化フレームワークを提案する。
我々のフレームワークは最先端のベースラインを著しく上回り、平均50%以上の改善がなされています。
論文 参考訳（メタデータ） (2023-05-21T08:53:00Z) - Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action
Recognition [46.836815779215456]
本稿では,骨格に基づく行動認識のための空間的注意ネットワーク(DSTA-Net)を提案する。
注意ブロックの構築には,空間的時間的注意分離,非結合位置符号化,空間的大域正規化という3つの手法が提案されている。
提案手法の有効性を検証するため,骨格に基づくジェスチャーと行動認識のための4つの挑戦的データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2020-07-07T07:58:56Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳（メタデータ） (2020-03-13T04:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。