論文の概要: BeLFusion: Latent Diffusion for Behavior-Driven Human Motion Prediction
- arxiv url: http://arxiv.org/abs/2211.14304v1
- Date: Fri, 25 Nov 2022 18:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 17:32:52.264658
- Title: BeLFusion: Latent Diffusion for Behavior-Driven Human Motion Prediction
- Title(参考訳): belfusion: 行動駆動型人間の運動予測のための潜在拡散
- Authors: German Barquero, Sergio Escalera, and Cristina Palmero
- Abstract要約: 本研究では,人間の動作予測(HMP)における潜伏拡散モデルを利用して,行動がポーズや動きから切り離されている潜伏空間からサンプルを採取するモデルであるBeLFusionを提案する。
サンプルの動作を進行中の動作に転送する能力のおかげで、Belfusion氏の予測は、芸術の状況よりもはるかに現実的なさまざまな行動を示す。
- 参考スコア(独自算出の注目度): 26.306489700180627
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Stochastic human motion prediction (HMP) has generally been tackled with
generative adversarial networks and variational autoencoders. Most prior works
aim at predicting highly diverse movements in terms of the skeleton joints'
dispersion. This has led to methods predicting fast and motion-divergent
movements, which are often unrealistic and incoherent with past motion. Such
methods also neglect contexts that need to anticipate diverse low-range
behaviors, or actions, with subtle joint displacements. To address these
issues, we present BeLFusion, a model that, for the first time, leverages
latent diffusion models in HMP to sample from a latent space where behavior is
disentangled from pose and motion. As a result, diversity is encouraged from a
behavioral perspective. Thanks to our behavior coupler's ability to transfer
sampled behavior to ongoing motion, BeLFusion's predictions display a variety
of behaviors that are significantly more realistic than the state of the art.
To support it, we introduce two metrics, the Area of the Cumulative Motion
Distribution, and the Average Pairwise Distance Error, which are correlated to
our definition of realism according to a qualitative study with 126
participants. Finally, we prove BeLFusion's generalization power in a new
cross-dataset scenario for stochastic HMP.
- Abstract(参考訳): 確率的人間の運動予測(hmp)は一般的に、生成的逆ネットワークと変分オートエンコーダによって取り組まれている。
ほとんどの先行研究は、骨格関節の分散の観点から非常に多様な動きを予測することを目的としていた。
このことは、しばしば非現実的で過去の動きと不整合である、高速かつ運動分岐運動を予測する方法につながった。
このような方法は、微妙な関節変位を伴う多様な低範囲行動や行動を予測する必要がある文脈を無視する。
そこで本研究では,hmpにおける潜伏拡散モデルを用いて,行動がポーズや動作と無関係な潜伏空間からサンプルを採取するモデルであるbelfusionを提案する。
その結果、多様性は行動の観点から奨励される。
サンプルの動作を進行中の動作に転送する能力のおかげで、Belfusion氏の予測は、芸術の状況よりもはるかに現実的なさまざまな行動を示す。
これを支援するために, 累積運動分布面積(Area of the Cumulative Motion Distribution)と平均ペアワイズ距離誤差(Average Pairwise Distance Error)という2つの指標を導入する。
最後に,確率hmpの新しいクロスデータセットシナリオにおいて,belfusionの一般化能力を証明する。
関連論文リスト
- MDMP: Multi-modal Diffusion for supervised Motion Predictions with uncertainty [7.402769693163035]
本稿では,運動予測のための多モード拡散モデルを提案する。
骨格データと行動のテキスト記述を統合し、定量性のある不確実性を伴う洗練された長期動作予測を生成する。
我々のモデルは、長期動作を正確に予測する上で、既存の生成技術よりも一貫して優れている。
論文 参考訳(メタデータ) (2024-10-04T18:49:00Z) - Learning Semantic Latent Directions for Accurate and Controllable Human Motion Prediction [25.965711897002016]
この課題に対する解決策として,SLD(Semantic Latent Directions)を導入する。
SLDは潜在空間を制約し、意味のある動作意味学を学ぶ。
現実主義と多様性のバランスを保ちながら動きを正確に予測する上で,本手法の優位性を示す。
論文 参考訳(メタデータ) (2024-07-16T08:31:59Z) - Towards Generalizable and Interpretable Motion Prediction: A Deep
Variational Bayes Approach [54.429396802848224]
本稿では,分布外ケースに対する頑健な一般化性を有する動き予測のための解釈可能な生成モデルを提案する。
このモデルでは, 長期目的地の空間分布を推定することにより, 目標駆動動作予測を実現する。
動き予測データセットの実験は、適合したモデルが解釈可能で一般化可能であることを検証した。
論文 参考訳(メタデータ) (2024-03-10T04:16:04Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-08-28T10:40:16Z) - TransFusion: A Practical and Effective Transformer-based Diffusion Model
for 3D Human Motion Prediction [1.8923948104852863]
本研究では,3次元動作予測のための革新的で実用的な拡散モデルであるTransFusionを提案する。
我々のモデルは、浅い層と深い層の間の長いスキップ接続を持つバックボーンとしてTransformerを活用している。
クロスアテンションや適応層正規化のような余分なモジュールを利用する従来の拡散モデルとは対照的に、条件を含む全ての入力をトークンとして扱い、より軽量なモデルを作成する。
論文 参考訳(メタデータ) (2023-07-30T01:52:07Z) - Human Joint Kinematics Diffusion-Refinement for Stochastic Motion
Prediction [22.354538952573158]
MotionDiffは、人間の関節のキネマティクスを加熱粒子として扱う拡散確率モデルである。
MotionDiffは、多種多様な可塑性運動を生成する空間時間変換器ベースの拡散ネットワークと、出力をさらに洗練するためのグラフ畳み込みネットワークの2つの部分で構成されている。
論文 参考訳(メタデータ) (2022-10-12T07:38:33Z) - Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion [88.45326906116165]
運動不確定性拡散(MID)の逆過程として軌道予測タスクを定式化する新しい枠組みを提案する。
我々は,履歴行動情報と社会的相互作用を状態埋め込みとしてエンコードし,トランジトリの時間的依存性を捉えるためにトランスフォーマーに基づく拡散モデルを考案する。
スタンフォード・ドローンやETH/UCYデータセットなど,人間の軌道予測ベンチマーク実験により,本手法の優位性を実証した。
論文 参考訳(メタデータ) (2022-03-25T16:59:08Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-30T10:45:22Z) - Dyadic Human Motion Prediction [119.3376964777803]
本稿では,2つの被験者の相互作用を明示的に推論する動き予測フレームワークを提案する。
具体的には,2つの被験者の運動履歴の相互依存をモデル化する一対の注意機構を導入する。
これにより、より現実的な方法で長期の運動力学を保ち、異常かつ高速な運動を予測することができる。
論文 参考訳(メタデータ) (2021-12-01T10:30:40Z) - Learning to Predict Diverse Human Motions from a Single Image via
Mixture Density Networks [9.06677862854201]
本研究では,混合密度ネットワーク(MDN)モデルを用いて,単一画像から将来の人間の動きを予測する新しい手法を提案する。
MDNのマルチモーダルな性質は、既存のディープヒューマンモーション予測アプローチとは対照的に、様々な将来のモーション仮説の生成を可能にしている。
訓練されたモデルでは、入力として画像を直接取り、与えられた条件を満たす複数の可視運動を生成する。
論文 参考訳(メタデータ) (2021-09-13T08:49:33Z) - Generating Smooth Pose Sequences for Diverse Human Motion Prediction [90.45823619796674]
本稿では,多様な動作予測と制御可能な動作予測のための統合された深部生成ネットワークを提案する。
標準ベンチマークデータセットであるHuman3.6MとHumanEva-Iの2つの実験は、我々のアプローチがサンプルの多様性と精度の両方において最先端のベースラインより優れていることを示した。
論文 参考訳(メタデータ) (2021-08-19T00:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。