論文の概要: PhysDiff: Physics-Guided Human Motion Diffusion Model

• arxiv url: http://arxiv.org/abs/2212.02500v3
• Date: Fri, 18 Aug 2023 19:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 02:17:16.207490
• Title: PhysDiff: Physics-Guided Human Motion Diffusion Model
• Title（参考訳）: PhysDiff:物理誘導型人体運動拡散モデル
• Authors: Ye Yuan, Jiaming Song, Umar Iqbal, Arash Vahdat, Jan Kautz
• Abstract要約: 既存の運動拡散モデルは、拡散過程における物理学の法則をほとんど無視する。 PhysDiffは拡散過程に物理的制約を組み込む。 提案手法は,最先端の動作品質を実現し,身体的可視性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 101.1823574561535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space, which cannot be achieved by simple post-processing. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).
• Abstract（参考訳）: 拡散モデルをデノイングすることは、多様で現実的な人間の動きを生み出す大きな約束である。 しかし、既存の運動拡散モデルは拡散過程における物理法則をほとんど無視しており、しばしば浮動、足の滑動、地中浸透といった明瞭なアーティファクトを持つ物理的に実現可能な運動を生成する。 これは生成されたモーションの品質に深刻な影響を与え、現実世界のアプリケーションを制限する。 本稿では, 物理的制約を拡散過程に組み込んだ新しい物理誘導運動拡散モデル(physdiff)を提案する。 具体的には,物理シミュレータにおける運動模倣を用いて,拡散ステップの消音運動を物理的に可視的な運動に投影する物理ベースの運動投影モジュールを提案する。 投影された動きは次の拡散ステップでさらに使われ、消音拡散過程を導く。 直感的には、我々のモデルにおける物理学の使用は、単純な後処理では達成できない物理的に証明可能な空間への運動を反復的に引き出す。 大規模な人体運動データセットの実験により、我々の手法は最先端の運動品質を達成し、身体的可視性を大幅に向上する(全データセットの78%以上)。

関連論文リスト

• Morph: A Motion-free Physics Optimization Framework for Human Motion Generation [25.51726849102517]
  我々のフレームワークは、身体的可視性を大幅に向上させながら、最先端のモーション生成品質を実現する。 テキスト・トゥ・モーション・アンド・ミュージック・トゥ・ダンス・ジェネレーション・タスクの実験は、我々のフレームワークが最先端のモーション・ジェネレーション・クオリティを達成することを示す。
  論文  参考訳（メタデータ） (2024-11-22T14:09:56Z)
• ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
  本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。 動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。 我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-09T16:24:11Z)
• Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
  既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。 動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。 我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
  論文  参考訳（メタデータ） (2024-06-10T17:47:14Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• MotionCraft: Physics-based Zero-Shot Video Generation [22.33113030344355]
  MotionCraftは物理ベースのリアルなビデオを作るためのゼロショットビデオジェネレータだ。 安定拡散のような画像拡散モデルのノイズ潜時空間を光学的流れを適用することにより、MotionCraftがワープできることが示される。 我々は,この手法を最先端のText2Video-Zeroレポートと比較し,質的,定量的に改善した。
  論文  参考訳（メタデータ） (2024-05-22T11:44:57Z)
• MotionMix: Weakly-Supervised Diffusion for Controllable Motion Generation [19.999239668765885]
  MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。 我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-01-20T04:58:06Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Physics-Guided Human Motion Capture with Pose Probability Modeling [35.159506668475565]
  既存の解は常にキネマティックな結果を参照運動として採用し、物理は後処理モジュールとして扱われる。 本研究では,逆拡散過程における物理法則を用いて,モデル化されたポーズ確率分布から人間の動きを再構成する。 数回の反復で、物理に基づく追跡とキネマティック・デノゲーションは互いに促進し、物理的に妥当な人間の動きを生成する。
  論文  参考訳（メタデータ） (2023-08-19T05:28:03Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。