論文の概要: PhysDiff: Physics-Guided Human Motion Diffusion Model
- arxiv url: http://arxiv.org/abs/2212.02500v1
- Date: Mon, 5 Dec 2022 18:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 15:20:50.831962
- Title: PhysDiff: Physics-Guided Human Motion Diffusion Model
- Title(参考訳): PhysDiff:物理誘導型人体運動拡散モデル
- Authors: Ye Yuan, Jiaming Song, Umar Iqbal, Arash Vahdat, Jan Kautz
- Abstract要約: 既存の運動拡散モデルは、拡散過程における物理学の法則をほとんど無視する。
PhysDiffは拡散過程に物理的制約を組み込む。
提案手法は,最先端の動作品質を実現し,身体的可視性を大幅に向上させる。
- 参考スコア(独自算出の注目度): 107.84220233827754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion models hold great promise for generating diverse and
realistic human motions. However, existing motion diffusion models largely
disregard the laws of physics in the diffusion process and often generate
physically-implausible motions with pronounced artifacts such as floating, foot
sliding, and ground penetration. This seriously impacts the quality of
generated motions and limits their real-world application. To address this
issue, we present a novel physics-guided motion diffusion model (PhysDiff),
which incorporates physical constraints into the diffusion process.
Specifically, we propose a physics-based motion projection module that uses
motion imitation in a physics simulator to project the denoised motion of a
diffusion step to a physically-plausible motion. The projected motion is
further used in the next diffusion step to guide the denoising diffusion
process. Intuitively, the use of physics in our model iteratively pulls the
motion toward a physically-plausible space. Experiments on large-scale human
motion datasets show that our approach achieves state-of-the-art motion quality
and improves physical plausibility drastically (>78% for all datasets).
- Abstract(参考訳): 拡散モデルをデノイングすることは、多様で現実的な人間の動きを生み出す大きな約束である。
しかし、既存の運動拡散モデルは拡散過程における物理法則をほとんど無視しており、しばしば浮動、足の滑動、地中浸透といった明瞭なアーティファクトを持つ物理的に実現可能な運動を生成する。
これは生成されたモーションの品質に深刻な影響を与え、現実世界のアプリケーションを制限する。
本稿では, 物理的制約を拡散過程に組み込んだ新しい物理誘導運動拡散モデル(physdiff)を提案する。
具体的には,物理シミュレータにおける運動模倣を用いて,拡散ステップの消音運動を物理的に可視的な運動に投影する物理ベースの運動投影モジュールを提案する。
投影された動きは次の拡散ステップでさらに使われ、消音拡散過程を導く。
直感的には、我々のモデルにおける物理学の使用は、物理的に証明可能な空間への運動を反復的に引き起こす。
大規模な人体運動データセットの実験により、我々の手法は最先端の運動品質を達成し、身体的可視性を大幅に向上する(全データセットの78%以上)。
関連論文リスト
- MotionMix: Weakly-Supervised Diffusion for Controllable Motion
Generation [19.999239668765885]
MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。
我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2024-01-20T04:58:06Z) - Universal Humanoid Motion Representations for Physics-Based Control [74.53927919796139]
本稿では、ヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現について述べる。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳(メタデータ) (2023-10-06T20:48:43Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-08-28T10:40:16Z) - Physics-Guided Human Motion Capture with Pose Probability Modeling [35.159506668475565]
既存の解は常にキネマティックな結果を参照運動として採用し、物理は後処理モジュールとして扱われる。
本研究では,逆拡散過程における物理法則を用いて,モデル化されたポーズ確率分布から人間の動きを再構成する。
数回の反復で、物理に基づく追跡とキネマティック・デノゲーションは互いに促進し、物理的に妥当な人間の動きを生成する。
論文 参考訳(メタデータ) (2023-08-19T05:28:03Z) - BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion
Synthesis [14.331548412833513]
複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。
本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。
本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:39:05Z) - DiffMesh: A Motion-aware Diffusion-like Framework for Human Mesh
Recovery from Videos [51.32026590626831]
ヒューマンメッシュリカバリ(Human Mesh recovery, HMR)は、さまざまな現実世界のアプリケーションに対して、リッチな人体情報を提供する。
ビデオベースのアプローチはこの問題を緩和するために時間的情報を活用する。
DiffMeshはビデオベースのHMRのための革新的な動き認識型拡散型フレームワークである。
論文 参考訳(メタデータ) (2023-03-23T16:15:18Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-12-08T03:07:00Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳(メタデータ) (2022-08-31T17:58:54Z) - MotionAug: Augmentation with Physical Correction for Human Motion
Prediction [19.240717471864723]
本稿では,動き合成を取り入れた動きデータ拡張手法を提案する。
提案手法は,リカレントニューラルネットワークとグラフ畳み込みネットワークを併用した人間の動き予測モデルにおいて,従来の雑音に基づく動き増進手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-03-17T06:53:15Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。