論文の概要: Towards more realistic human motion prediction with attention to motion coordination
- arxiv url: http://arxiv.org/abs/2404.03584v1
- Date: Thu, 4 Apr 2024 16:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 14:02:35.722398
- Title: Towards more realistic human motion prediction with attention to motion coordination
- Title（参考訳）: 動き調整に着目したよりリアルな人間の動き予測に向けて
- Authors: Pengxiang Ding, Jianqin Yin,
- Abstract要約: 本稿では,この動き調整と結合対間の局所的相互作用を統一的に組み合わせた新しい結合関係モデリングモジュール,Comprehensive Joint Relation Extractor (CJRE)を提案する。
提案手法は,H3.6M,CMU-Mocap,3DPWの短期および長期予測において,最先端の手法より優れている。
- 参考スコア（独自算出の注目度）: 7.243632426715939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint relation modeling is a curial component in human motion prediction. Most existing methods rely on skeletal-based graphs to build the joint relations, where local interactive relations between joint pairs are well learned. However, the motion coordination, a global joint relation reflecting the simultaneous cooperation of all joints, is usually weakened because it is learned from part to whole progressively and asynchronously. Thus, the final predicted motions usually appear unrealistic. To tackle this issue, we learn a medium, called coordination attractor (CA), from the spatiotemporal features of motion to characterize the global motion features, which is subsequently used to build new relative joint relations. Through the CA, all joints are related simultaneously, and thus the motion coordination of all joints can be better learned. Based on this, we further propose a novel joint relation modeling module, Comprehensive Joint Relation Extractor (CJRE), to combine this motion coordination with the local interactions between joint pairs in a unified manner. Additionally, we also present a Multi-timescale Dynamics Extractor (MTDE) to extract enriched dynamics from the raw position information for effective prediction. Extensive experiments show that the proposed framework outperforms state-of-the-art methods in both short- and long-term predictions on H3.6M, CMU-Mocap, and 3DPW.
- Abstract（参考訳）: 関節関係モデリングは人間の動作予測におけるキュリアルな要素である。
既存のほとんどの手法は、共同関係を構築するために骨格に基づくグラフに依存しており、そこでは、共同ペア間の局所的な相互関係がよく学習されている。
しかしながら、すべての関節の同時協調を反映した大域的な関節関係である運動調整は、部分的に、全体、非同期的に学習されるため、通常は弱められる。
したがって、最終的な予測運動は通常非現実的なように見える。
この課題に対処するために、我々は運動の時空間的特徴からコーディネート・アトラクション(CA)と呼ばれる媒体を学習し、その後、新たな相対的関節関係を構築するために使用されるグローバルな運動特徴を特徴付ける。
CAを通して、全ての関節は同時に関連しているので、全ての関節の運動調整をよりよく学べる。
さらに, この動き調整と, 結合対間の局所的相互作用を統一的に組み合わせた新しい結合関係モデリングモジュールであるComprehensive Joint Relation Extractor (CJRE)を提案する。
さらに,実測位置情報からリッチなダイナミクスを抽出し,効果的な予測を行うためのMTDE(Multi-timescale Dynamics Extractor)を提案する。
大規模な実験の結果,提案手法はH3.6M, CMU-Mocap, 3DPWの短期および長期予測において, 最先端の手法よりも優れていた。
関連論文リスト
- Relation Learning and Aggregate-attention for Multi-person Motion Prediction [13.052342503276936]
多対人動作予測は、骨格構造や人間の軌道だけでなく、他者との相互作用も考慮している。
それまでの手法では、個人内の結合関係(イントラリレーション)とグループ間の相互作用(インターリレーション)は異なる種類の表現であるとしばしば見落としていた。
我々はこれらの関係を明示的にモデル化する多人数動作予測のための新しい協調フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-06T07:48:30Z) - Joint-Motion Mutual Learning for Pose Estimation in Videos [21.77871402339573]
ビデオにおける人間のポーズ推定は、コンピュータビジョンの領域において、説得力がありながら挑戦的な課題だった。
最近の手法では、ポーズ推定のためにバックボーンネットワークによって生成された複数フレームの視覚的特徴を統合することを目指している。
ポーズ推定のための新しい共同動作相互学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-05T07:37:55Z) - A Decoupled Spatio-Temporal Framework for Skeleton-based Action
Segmentation [89.86345494602642]
既存の手法は、弱い時間的モデリング能力に制限されている。
この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。
DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-12-10T09:11:39Z) - Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。
本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。
RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
論文 参考訳（メタデータ） (2023-09-20T08:11:58Z) - Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
相互作用モデリングの強化を目的とした結合関係変換器を提案する。
提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
論文 参考訳（メタデータ） (2023-08-09T09:02:47Z) - GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。
GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。
運動と地面への距離変化との整合性を明確に促進するように訓練されている。
論文 参考訳（メタデータ） (2023-06-29T07:22:20Z) - Kinematics Modeling Network for Video-based Human Pose Estimation [9.506011491028891]
ビデオから人間のポーズを推定することは、人間とコンピュータの相互作用において重要である。
関節は人間の動きの中で独立して動くのではなく協力する。
関節間の時間的相関を明示的にモデル化するためのKMM(プラグイン・アンド・プレイ・キネマティクス・モデリング・モジュール)を提案する。
論文 参考訳（メタデータ） (2022-07-22T09:37:48Z) - Motion Prediction via Joint Dependency Modeling in Phase Space [40.54430409142653]
我々は、運動解剖学の明示的な事前知識を活用するために、新しい畳み込みニューラルモデルを導入する。
次に,個々の関節機能間の暗黙的関係を学習するグローバル最適化モジュールを提案する。
本手法は,大規模な3次元人体動作ベンチマークデータセットを用いて評価する。
論文 参考訳（メタデータ） (2022-01-07T08:30:01Z) - An Attractor-Guided Neural Networks for Skeleton-Based Human Motion
Prediction [0.4568777157687961]
関節モデリングは人間の動作予測におけるキュリアルな要素である。
我々は、時間的特徴からバランスアトラクション(BA)と呼ばれる媒体を学習し、グローバルな動き特徴を特徴づける。
BAを通して、全ての関節は同期的に関連付けられ、したがって全ての関節のグローバルな調整がよりよく学べる。
論文 参考訳（メタデータ） (2021-05-20T12:51:39Z) - Pose And Joint-Aware Action Recognition [87.4780883700755]
本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。
私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。
JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
論文 参考訳（メタデータ） (2020-10-16T04:43:34Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。