論文の概要: Learning Semantic Latent Directions for Accurate and Controllable Human Motion Prediction
- arxiv url: http://arxiv.org/abs/2407.11494v1
- Date: Tue, 16 Jul 2024 08:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 16:02:34.101838
- Title: Learning Semantic Latent Directions for Accurate and Controllable Human Motion Prediction
- Title（参考訳）: 高精度かつ制御可能な人間の動作予測のための意味的潜在方向の学習
- Authors: Guowei Xu, Jiale Tao, Wen Li, Lixin Duan,
- Abstract要約: この課題に対する解決策として,SLD(Semantic Latent Directions)を導入する。
SLDは潜在空間を制約し、意味のある動作意味学を学ぶ。
現実主義と多様性のバランスを保ちながら動きを正確に予測する上で,本手法の優位性を示す。
- 参考スコア（独自算出の注目度）: 25.965711897002016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of stochastic human motion prediction (SHMP), researchers have often turned to generative models like GANS, VAEs and diffusion models. However, most previous approaches have struggled to accurately predict motions that are both realistic and coherent with past motion due to a lack of guidance on the latent distribution. In this paper, we introduce Semantic Latent Directions (SLD) as a solution to this challenge, aiming to constrain the latent space to learn meaningful motion semantics and enhance the accuracy of SHMP. SLD defines a series of orthogonal latent directions and represents the hypothesis of future motion as a linear combination of these directions. By creating such an information bottleneck, SLD excels in capturing meaningful motion semantics, thereby improving the precision of motion predictions. Moreover, SLD offers controllable prediction capabilities by adjusting the coefficients of the latent directions during the inference phase. Expanding on SLD, we introduce a set of motion queries to enhance the diversity of predictions. By aligning these motion queries with the SLD space, SLD is further promoted to more accurate and coherent motion predictions. Through extensive experiments conducted on widely used benchmarks, we showcase the superiority of our method in accurately predicting motions while maintaining a balance of realism and diversity. Our code and pretrained models are available at https://github.com/GuoweiXu368/SLD-HMP.
- Abstract（参考訳）: 確率的人間の動き予測(SHMP)の領域では、研究者はしばしばGANS、VAE、拡散モデルといった生成モデルに目を向けてきた。
しかし、従来のほとんどのアプローチは、潜伏分布に関するガイダンスの欠如により、現実的かつ過去の動きに忠実な動きを正確に予測するのに苦労してきた。
本稿では,SLD(Semantic Latent Directions)を課題の解決策として紹介し,意味的な動作の意味を学習し,SHMPの精度を高めるために潜在空間を制約することを目的とする。
SLDは一連の直交遅延方向を定義し、将来の動きの仮説をこれらの方向の線形結合として表している。
このような情報ボトルネックを作成することにより、SLDは意味のある動きのセマンティクスを捕捉し、動き予測の精度を向上させる。
さらに、SLDは、推論フェーズ中に潜伏方向の係数を調整することにより、制御可能な予測機能を提供する。
SLDを拡張して,予測の多様性を高めるために,一連の動作クエリを導入する。
これらの動きクエリをSLD空間と整合させることにより、SLDはより正確で一貫性のある動き予測へとさらに前進する。
広範に使用されているベンチマークで実施した広範囲な実験を通じて、現実性と多様性のバランスを維持しながら、動作を正確に予測する手法の優位性を示す。
私たちのコードと事前訓練されたモデルは、https://github.com/GuoweiXu368/SLD-HMPで利用可能です。
関連論文リスト
- MDMP: Multi-modal Diffusion for supervised Motion Predictions with uncertainty [7.402769693163035]
本稿では,運動予測のための多モード拡散モデルを提案する。
骨格データと行動のテキスト記述を統合し、定量性のある不確実性を伴う洗練された長期動作予測を生成する。
我々のモデルは、長期動作を正確に予測する上で、既存の生成技術よりも一貫して優れている。
論文 参考訳（メタデータ） (2024-10-04T18:49:00Z) - AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。
同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。
そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
論文 参考訳（メタデータ） (2024-03-20T06:22:37Z) - LG-Traj: LLM Guided Pedestrian Trajectory Prediction [9.385936248154987]
LG-Trajは歩行者の過去・保存軌道に現れる動きの手がかりを生成する新しい手法である。
これらの動きの手がかりは、歩行者の座標とともに、下層の表現をよりよく理解するのに役立つ。
本手法では,移動パターンをモデル化するモーションエンコーダと,歩行者間の社会的相互作用を捉えるソーシャルデコーダからなるトランスフォーマーアーキテクチャを用いる。
論文 参考訳（メタデータ） (2024-03-12T19:06:23Z) - CoMusion: Towards Consistent Stochastic Human Motion Prediction via Motion Diffusion [6.862357145175449]
本稿では,単一段階の終端拡散型HMPフレームワークであるCoMusionを提案する。
CoMusionは、スムーズな将来のポーズ予測性能が空間予測性能を改善するという洞察から着想を得ている。
提案手法はTransformer-GCNモジュール設計と分散スケジューラによって促進され,精度,現実性,一貫した動作を予測する。
論文 参考訳（メタデータ） (2023-05-21T19:31:56Z) - BeLFusion: Latent Diffusion for Behavior-Driven Human Motion Prediction [26.306489700180627]
本研究では,人間の動作予測(HMP)における潜伏拡散モデルを利用して,行動がポーズや動きから切り離されている潜伏空間からサンプルを採取するモデルであるBeLFusionを提案する。
サンプルの動作を進行中の動作に転送する能力のおかげで、Belfusion氏の予測は、芸術の状況よりもはるかに現実的なさまざまな行動を示す。
論文 参考訳（メタデータ） (2022-11-25T18:59:03Z) - Motion Transformer with Global Intention Localization and Local Movement
Refinement [103.75625476231401]
動き TRansformer (MTR) は、大域的意図の局所化と局所的な動きの洗練の合同最適化として、動き予測をモデル化する。
MTRは、限界運動予測と関節運動予測の両方において最先端の性能を達成する。
論文 参考訳（メタデータ） (2022-09-27T16:23:14Z) - Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion [88.45326906116165]
運動不確定性拡散(MID)の逆過程として軌道予測タスクを定式化する新しい枠組みを提案する。
我々は,履歴行動情報と社会的相互作用を状態埋め込みとしてエンコードし,トランジトリの時間的依存性を捉えるためにトランスフォーマーに基づく拡散モデルを考案する。
スタンフォード・ドローンやETH/UCYデータセットなど,人間の軌道予測ベンチマーク実験により,本手法の優位性を実証した。
論文 参考訳（メタデータ） (2022-03-25T16:59:08Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-30T10:45:22Z) - Learning to Predict Diverse Human Motions from a Single Image via
Mixture Density Networks [9.06677862854201]
本研究では,混合密度ネットワーク(MDN)モデルを用いて,単一画像から将来の人間の動きを予測する新しい手法を提案する。
MDNのマルチモーダルな性質は、既存のディープヒューマンモーション予測アプローチとは対照的に、様々な将来のモーション仮説の生成を可能にしている。
訓練されたモデルでは、入力として画像を直接取り、与えられた条件を満たす複数の可視運動を生成する。
論文 参考訳（メタデータ） (2021-09-13T08:49:33Z) - Generating Smooth Pose Sequences for Diverse Human Motion Prediction [90.45823619796674]
本稿では,多様な動作予測と制御可能な動作予測のための統合された深部生成ネットワークを提案する。
標準ベンチマークデータセットであるHuman3.6MとHumanEva-Iの2つの実験は、我々のアプローチがサンプルの多様性と精度の両方において最先端のベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2021-08-19T00:58:00Z) - SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory
Prediction [64.16212996247943]
歩行者軌道予測のためのスパースグラフ畳み込みネットワーク(SGCN)を提案する。
具体的には、SGCNはスパース指向の相互作用をスパース指向の空間グラフと明確にモデル化し、適応的な相互作用歩行者を捉える。
可視化は,歩行者の適応的相互作用とその運動特性を捉えることができることを示す。
論文 参考訳（メタデータ） (2021-04-04T03:17:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。