論文の概要: HumMUSS: Human Motion Understanding using State Space Models

• arxiv url: http://arxiv.org/abs/2404.10880v1
• Date: Tue, 16 Apr 2024 19:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 18:02:19.150896
• Title: HumMUSS: Human Motion Understanding using State Space Models
• Title（参考訳）: HumMUSS: 状態空間モデルを用いた人間の動作理解
• Authors: Arnab Kumar Mondal, Stefano Alletto, Denis Tome,
• Abstract要約: 本稿では,最近の状態空間モデルの発展にともなう,人間の動作理解構築のための新しいアテンションフリーモデルを提案する。 私たちのモデルはオフラインとリアルタイムの両方のアプリケーションをサポートします。 リアルタイムの逐次予測では、このモデルはトランスフォーマーベースのアプローチよりもメモリ効率が高く、数倍高速である。
• 参考スコア（独自算出の注目度）: 6.821961232645209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding human motion from video is essential for a range of applications, including pose estimation, mesh recovery and action recognition. While state-of-the-art methods predominantly rely on transformer-based architectures, these approaches have limitations in practical scenarios. Transformers are slower when sequentially predicting on a continuous stream of frames in real-time, and do not generalize to new frame rates. In light of these constraints, we propose a novel attention-free spatiotemporal model for human motion understanding building upon recent advancements in state space models. Our model not only matches the performance of transformer-based models in various motion understanding tasks but also brings added benefits like adaptability to different video frame rates and enhanced training speed when working with longer sequence of keypoints. Moreover, the proposed model supports both offline and real-time applications. For real-time sequential prediction, our model is both memory efficient and several times faster than transformer-based approaches while maintaining their high accuracy.
• Abstract（参考訳）: ビデオから人間の動きを理解することは、ポーズ推定、メッシュリカバリ、アクション認識など、さまざまなアプリケーションに不可欠である。 最先端の手法は主にトランスフォーマーベースのアーキテクチャに依存しているが、これらの手法は現実的なシナリオにおいて制限がある。 トランスフォーマーは、連続したフレームストリームをリアルタイムに逐次予測する場合は遅く、新しいフレームレートに一般化しない。 これらの制約を考慮し,近年の状態空間モデルの発展にともなう人間の動き理解構築のための,新しい無注意時空間モデルを提案する。 我々のモデルは、様々な動作理解タスクにおけるトランスフォーマーモデルの性能に適合するだけでなく、異なるビデオフレームレートへの適応性や、キーポイントの長いシーケンスで作業する際のトレーニング速度の向上といったメリットももたらす。 さらに、提案モデルはオフラインおよびリアルタイムアプリケーションの両方をサポートする。 リアルタイムの逐次予測では、高い精度を維持しながら、トランスフォーマーベースのアプローチよりもメモリ効率が高く、数倍高速である。

関連論文リスト

• STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
  本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。 メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。 提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-31T16:19:27Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• SPOTR: Spatio-temporal Pose Transformers for Human Motion Prediction [12.248428883804763]
  3次元人間の動き予測は、コンピュータビジョンにおける高い重要性と課題を計算した研究領域である。 伝統的に、自己回帰モデルは人間の動きを予測するために用いられてきた。 人間の動作予測のための非自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-11T01:44:29Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Space-time Mixing Attention for Video Transformer [55.50839896863275]
  本稿では,ビデオシーケンス内のフレーム数と線形にスケールする複雑性をビデオトランスフォーマーモデルとして提案する。 我々は,最も人気のあるビデオ認識データセットに対して,認識精度が非常に高いことを実証した。
  論文  参考訳（メタデータ） (2021-06-10T17:59:14Z)
• Robust Motion In-betweening [17.473287573543065]
  本稿では,3次元アニメーターのための新しいツールとして機能する,新しい頑健な遷移生成技術を提案する。 このシステムは、時間的にスパーサをアニメーションの制約として使用する高品質な動作を合成する。 私たちは、トレーニングされたモデルを使用して運用シナリオで相互運用を行う、カスタムのMotionBuilderプラグインを紹介します。
  論文  参考訳（メタデータ） (2021-02-09T16:52:45Z)
• Dynamic Future Net: Diversified Human Motion Generation [31.987602940970888]
  人間のモーションモデリングはコンピュータグラフィックス、視覚、仮想現実など多くの分野で重要である。 我々は,人間の運動力学の本質的な運動性に着目した新しい深層学習モデルであるDynamic Future Netを提案する。 我々のモデルでは、任意の時間で多数の高品質な動きを生成でき、空間と時間の両方の変動を視覚的に解析することができる。
  論文  参考訳（メタデータ） (2020-08-25T02:31:41Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• A Spatio-temporal Transformer for 3D Human Motion Prediction [39.31212055504893]
  本研究では,3次元人間の動きの生成モデル作成作業のためのトランスフォーマーに基づくアーキテクチャを提案する。 実験により,これが基礎となる運動力学を効果的に学習し,自己回帰モデルで観測される時間経過に伴う誤差の蓄積を低減することを示した。
  論文  参考訳（メタデータ） (2020-04-18T19:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。