論文の概要: Past Movements-Guided Motion Representation Learning for Human Motion Prediction
- arxiv url: http://arxiv.org/abs/2408.02091v1
- Date: Sun, 4 Aug 2024 17:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 15:15:41.012654
- Title: Past Movements-Guided Motion Representation Learning for Human Motion Prediction
- Title(参考訳): 動作予測のための過去の動き誘導型動き表現学習
- Authors: Junyu Shi, Baoxuan Wang,
- Abstract要約: 動作表現の強化を目的とした自己教師型学習フレームワークを提案する。
フレームワークは、まず、過去のシーケンスの自己再構成を通じてネットワークを事前訓練し、過去の動きに基づく将来のシーケンスのガイド付き再構築を行う。
提案手法は,Human3.6,3DPW,AMASSデータセットの平均予測誤差を8.8%削減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human motion prediction based on 3D skeleton is a significant challenge in computer vision, primarily focusing on the effective representation of motion. In this paper, we propose a self-supervised learning framework designed to enhance motion representation. This framework consists of two stages: first, the network is pretrained through the self-reconstruction of past sequences, and the guided reconstruction of future sequences based on past movements. We design a velocity-based mask strategy to focus on the joints with large-scale moving. Subsequently, the pretrained network undergoes finetuning for specific tasks. Self-reconstruction, guided by patterns of past motion, substantially improves the model's ability to represent the spatiotemporal relationships among joints but also captures the latent relationships between past and future sequences. This capability is crucial for motion prediction tasks that solely depend on historical motion data. By employing this straightforward yet effective training paradigm, our method outperforms existing \textit{state-of-the-art} methods, reducing the average prediction errors by 8.8\% across Human3.6M, 3DPW, and AMASS datasets. The code is available at https://github.com/JunyuShi02/PMG-MRL.
- Abstract(参考訳): 3Dスケルトンに基づく人間の動き予測は、主に動きの効果的な表現に焦点を当てたコンピュータビジョンにおいて重要な課題である。
本稿では,動作表現の向上を目的とした自己教師型学習フレームワークを提案する。
このフレームワークは、まず、過去のシーケンスの自己再構成を通じてネットワークを事前訓練し、過去の動きに基づく将来のシーケンスのガイド付き再構築を行う。
大規模移動を伴うジョイントに焦点を合わせるために,速度に基づくマスク戦略を設計する。
その後、事前訓練されたネットワークは、特定のタスクを微調整する。
過去の動きのパターンによって導かれる自己再構成は、関節間の時空間関係を表現するモデルの能力を大幅に改善すると同時に、過去と将来のシーケンス間の潜時関係をキャプチャする。
この能力は、歴史的動きデータのみに依存する動き予測タスクに不可欠である。
この単純で効果的なトレーニングパラダイムを用いることで、既存の‘textit{state-of-the-art}メソッドよりも優れ、Human3.6M, 3DPW, AMASSデータセットの平均予測誤差が8.8\%削減される。
コードはhttps://github.com/JunyuShi02/PMG-MRLで公開されている。
関連論文リスト
- Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。
提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
論文 参考訳(メタデータ) (2024-11-04T23:15:21Z) - Context-based Interpretable Spatio-Temporal Graph Convolutional Network
for Human Motion Forecasting [0.0]
本稿では,効率的な3次元ポーズ予測モデルとしてコンテキスト解釈型時空間グラフネットワーク(IST-GCN)を提案する。
提案アーキテクチャでは,ポーズシーケンスから意味のある情報を抽出し,入力モデルにアグリゲーションとアクセラレーションを集約し,最終的に出力変位を予測する。
論文 参考訳(メタデータ) (2024-02-21T17:51:30Z) - Orientation-Aware Leg Movement Learning for Action-Driven Human Motion
Prediction [7.150292351809277]
行動駆動型人間の動き予測は、観察されたシーケンスに基づいて将来の人間の動きを予測することを目的としている。
複数のアクションラベル間のスムーズで現実的な遷移をモデル化する必要がある。
1つのデータセット上でトレーニングした中間学習モデルを、2つの目に見えない大規模な動きデータセットに一般化し、自然な遷移を生成する。
論文 参考訳(メタデータ) (2023-10-23T13:16:51Z) - Learning Snippet-to-Motion Progression for Skeleton-based Human Motion
Prediction [14.988322340164391]
人間の動きを予測するために既存のグラフ畳み込みネットワークは、主にワンステップのスキームを採用している。
人間の動きはトランジションパターンを持ち、各トランジションを表すスニペットに分割することができる。
動作予測をサブタスクに分割するスニペット・ツー・モーション・マルチステージ・フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-26T07:36:38Z) - HumanMAC: Masked Motion Completion for Human Motion Prediction [62.279925754717674]
人間の動き予測はコンピュータビジョンとコンピュータグラフィックスの古典的な問題である。
従来の効果はエンコーディング・デコード方式に基づく経験的性能を実現している。
本稿では,新しい視点から新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-07T18:34:59Z) - Weakly-supervised Action Transition Learning for Stochastic Human Motion
Prediction [81.94175022575966]
動作駆動型人間の動作予測の課題について紹介する。
一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
論文 参考訳(メタデータ) (2022-05-31T08:38:07Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-30T10:45:22Z) - Multi-level Motion Attention for Human Motion Prediction [132.29963836262394]
本研究は, 関節, 身体部分, フルポーズレベルなど, 異なる種類の注意力の使用について検討した。
我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を検証した。
論文 参考訳(メタデータ) (2021-06-17T08:08:11Z) - History Repeats Itself: Human Motion Prediction via Motion Attention [81.94175022575966]
注意に基づくフィードフォワードネットワークを導入し、人間の動きが自分自身を繰り返す傾向にあるという観察を明示的に活用する。
特に,現在動きのコンテキストと過去の動きのサブシーケンスの類似性を捉えるために,動きの注意を抽出することを提案する。
我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を実証した。
論文 参考訳(メタデータ) (2020-07-23T02:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。