論文の概要: Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition

• arxiv url: http://arxiv.org/abs/2201.02849v1
• Date: Sat, 8 Jan 2022 16:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 06:18:04.910395
• Title: Spatio-Temporal Tuples Transformer for Skeleton-Based Action Recognition
• Title（参考訳）: スケルトンベース動作認識のための時空間タプル変換器
• Authors: Helei Qiu, Biao Hou, Bo Ren and Xiaohua Zhang
• Abstract要約: 変圧器は重要な関節の相関をモデル化する大きな可能性を示す。 既存のTransformerベースの手法では、フレーム間の異なる関節の相関を捉えることはできない。 連続するフレームにおける異なる関節の関係を捉えるために,時間認識モジュールを提案する。
• 参考スコア（独自算出の注目度）: 8.905895607185135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capturing the dependencies between joints is critical in skeleton-based action recognition task. Transformer shows great potential to model the correlation of important joints. However, the existing Transformer-based methods cannot capture the correlation of different joints between frames, which the correlation is very useful since different body parts (such as the arms and legs in "long jump") between adjacent frames move together. Focus on this problem, A novel spatio-temporal tuples Transformer (STTFormer) method is proposed. The skeleton sequence is divided into several parts, and several consecutive frames contained in each part are encoded. And then a spatio-temporal tuples self-attention module is proposed to capture the relationship of different joints in consecutive frames. In addition, a feature aggregation module is introduced between non-adjacent frames to enhance the ability to distinguish similar actions. Compared with the state-of-the-art methods, our method achieves better performance on two large-scale datasets.
• Abstract（参考訳）: 関節間の依存関係の捕捉は骨格に基づく行動認識タスクにおいて重要である。 変圧器は重要な関節の相関をモデル化する大きな可能性を示す。 しかし、既存のトランスフォーマー方式では、フレーム間の異なる関節の相関を捉えることができないため、隣接するフレーム間で異なる体部(「長いジャンプ」時の腕や脚など)が一緒に動くため、その相関は非常に有用である。 この問題に焦点をあて、新しい時空間タプル変換器(STTFormer)法を提案する。 骨格配列を複数の部分に分け、各部分に含まれる複数の連続したフレームを符号化する。 そして、連続するフレームにおける異なる関節の関係を捉えるために、時空間タプル自己アテンションモジュールを提案する。 さらに、非隣接フレーム間で機能集約モジュールが導入され、類似したアクションを識別する能力が向上する。 最先端の手法と比較して,2つの大規模データセットで性能が向上した。

関連論文リスト

• Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
  チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。 薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。 提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-08-17T08:05:31Z)
• Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings [5.922172844641853]
  幼魚ゼブラフィッシュの行動から潜伏埋め込みを抽出する自己教師型学習法を提案する。 スイミングゼブラフィッシュの骨格配列について、SSTFormer(Sequence Space-Temporal Transformer)の先駆的なトランスフォーマーCNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-23T02:58:10Z)
• SkateFormer: Skeletal-Temporal Transformer for Human Action Recognition [25.341177384559174]
  我々はSkateFormer(SkateFormer)と呼ばれる新しい手法を提案する。 SkateFormerは、さまざまなタイプの骨格と時間の関係に基づいて関節とフレームを分割する。 アクション適応的な方法で、アクション認識に不可欠なキージョイントやフレームに選択的にフォーカスすることができる。
  論文  参考訳（メタデータ） (2024-03-14T15:55:53Z)
• A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation [89.86345494602642]
  既存の手法は、弱い時間的モデリング能力に制限されている。 この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。 DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-10T09:11:39Z)
• SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
  SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。 まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。 次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2023-09-20T16:22:33Z)
• Shuffled Autoregression For Motion Interpolation [53.61556200049156]
  この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。 本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。 また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
  論文  参考訳（メタデータ） (2023-06-10T07:14:59Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• Alignment-guided Temporal Attention for Video Action Recognition [18.5171795689609]
  フレームごとのアライメントは、フレーム表現間の相互情報を増大させる可能性があることを示す。 隣接フレーム間のパラメータフリーパッチレベルのアライメントで1次元の時間的注意を延長するためのアライメント誘導時間注意(ATA)を提案する。
  論文  参考訳（メタデータ） (2022-09-30T23:10:47Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。