論文の概要: BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion Synthesis

• arxiv url: http://arxiv.org/abs/2304.11118v1
• Date: Fri, 21 Apr 2023 16:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 13:57:04.211928
• Title: BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion Synthesis
• Title（参考訳）: BoDiffusion:フルボディモーション合成のためのスパース観察の拡散
• Authors: Angela Castillo, Maria Escobar, Guillaume Jeanneret, Albert Pumarola, Pablo Arbel\'aez, Ali Thabet, Artsiom Sanakoyeu
• Abstract要約: 複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。 本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。 本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
• 参考スコア（独自算出の注目度）: 14.331548412833513
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mixed reality applications require tracking the user's full-body motion to enable an immersive experience. However, typical head-mounted devices can only track head and hand movements, leading to a limited reconstruction of full-body motion due to variability in lower body configurations. We propose BoDiffusion -- a generative diffusion model for motion synthesis to tackle this under-constrained reconstruction problem. We present a time and space conditioning scheme that allows BoDiffusion to leverage sparse tracking inputs while generating smooth and realistic full-body motion sequences. To the best of our knowledge, this is the first approach that uses the reverse diffusion process to model full-body tracking as a conditional sequence generation task. We conduct experiments on the large-scale motion-capture dataset AMASS and show that our approach outperforms the state-of-the-art approaches by a significant margin in terms of full-body motion realism and joint reconstruction error.
• Abstract（参考訳）: 混合現実アプリケーションは、没入的な体験を可能にするためにユーザーの全身の動きを追跡する必要がある。 しかし、頭部装着装置は頭部と手の動きのみを追跡できるため、下肢構成の変動により全身の動きが制限される。 そこで本研究では,動き合成のための生成拡散モデルbodiffusionを提案する。 本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。 我々の知る限りでは、これは逆拡散法を用いて全体追跡を条件付きシーケンス生成タスクとしてモデル化する最初のアプローチである。 我々は,大規模モーションキャプチャデータセットamassの実験を行い,本手法が実物体動作現実主義と関節再構築誤差の点で,最先端のアプローチを著しく上回っていることを示す。

関連論文リスト

• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• Stratified Avatar Generation from Sparse Observations [10.291918304187769]
  AR/VRデバイスから3Dフルボディアバターを推定することは、没入感のある体験を生み出す上で不可欠である。 本稿では,Skinned Multi-Person Linear (SMPL)モデルで定義されたキネマティックツリーの性質に着想を得た。 本研究では,従来のフルボディアバター再建パイプラインを2段階に分離する階層化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T06:25:42Z)
• MotionMix: Weakly-Supervised Diffusion for Controllable Motion Generation [19.999239668765885]
  MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。 我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-01-20T04:58:06Z)
• RoHM: Robust Human Motion Reconstruction via Diffusion [58.63706638272891]
  RoHMは、モノクロRGB(-D)ビデオから頑健な3次元人間の動きを復元するためのアプローチである。 ノイズと閉鎖された入力データに条件付けし、一貫した大域座標で完全な可塑性運動を再構成した。 本手法は,テスト時に高速でありながら,定性的かつ定量的に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-01-16T18:57:50Z)
• Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
  本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-14T12:57:35Z)
• Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model [18.139630622759636]
  本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。 我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。 一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
  論文  参考訳（メタデータ） (2023-04-17T19:35:13Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• PhysDiff: Physics-Guided Human Motion Diffusion Model [101.1823574561535]
  既存の運動拡散モデルは、拡散過程における物理学の法則をほとんど無視する。 PhysDiffは拡散過程に物理的制約を組み込む。 提案手法は,最先端の動作品質を実現し,身体的可視性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-12-05T18:59:52Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。