論文の概要: GMD: Controllable Human Motion Synthesis via Guided Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.12577v1
- Date: Sun, 21 May 2023 21:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 19:24:23.941823
- Title: GMD: Controllable Human Motion Synthesis via Guided Diffusion Models
- Title(参考訳): GMD:誘導拡散モデルによる制御可能な人体運動合成
- Authors: Korrawe Karunratanakul, Konpat Preechakul, Supasorn Suwajanakorn, Siyu
Tang
- Abstract要約: 本稿では,空間的制約を運動生成プロセスに組み込む手法として,誘導運動拡散(GMD)を提案する。
GMDは、テキストベースのモーション生成における最先端の手法よりも大幅に改善され、空間的制約で合成された動きを制御することができる。
- 参考スコア(独自算出の注目度): 11.79762172651376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion models have shown great promise in human motion synthesis
conditioned on natural language descriptions. However, it remains a challenge
to integrate spatial constraints, such as pre-defined motion trajectories and
obstacles, which is essential for bridging the gap between isolated human
motion and its surrounding environment. To address this issue, we propose
Guided Motion Diffusion (GMD), a method that incorporates spatial constraints
into the motion generation process. Specifically, we propose an effective
feature projection scheme that largely enhances the coherency between spatial
information and local poses. Together with a new imputation formulation, the
generated motion can reliably conform to spatial constraints such as global
motion trajectories. Furthermore, given sparse spatial constraints (e.g. sparse
keyframes), we introduce a new dense guidance approach that utilizes the
denoiser of diffusion models to turn a sparse signal into denser signals,
effectively guiding the generation motion to the given constraints. The
extensive experiments justify the development of GMD, which achieves a
significant improvement over state-of-the-art methods in text-based motion
generation while being able to control the synthesized motions with spatial
constraints.
- Abstract(参考訳): 発声拡散モデルは、自然言語記述に基づく人間の運動合成において大きな期待が持たれている。
しかし、孤立した人間の動きと周囲環境とのギャップを埋めるのに不可欠な、事前に定義された運動軌跡や障害物などの空間的制約を統合することは依然として課題である。
この問題を解決するために,空間制約を運動生成プロセスに組み込む手法であるガイド運動拡散(GMD)を提案する。
具体的には,空間情報と局所的なポーズの一貫性を大きく高める効果的な特徴投影手法を提案する。
新しい計算式とともに、生成された動きは、大域的な運動軌跡のような空間的制約に確実に適合することができる。
さらに,空間的制約(例えばスパースキーフレーム)が与えられた場合,拡散モデルのデノイザーを用いてスパース信号をより密な信号に変換し,生成動作を与えられた制約に効果的に導く新しい密集した誘導手法を導入する。
広範な実験はgmdの開発を正当化しており、空間的な制約により合成された動きを制御しながら、テキストベースのモーション生成において最先端の手法よりも大幅に改善されている。
関連論文リスト
- MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model [29.93359157128045]
この研究は、制御可能なモーション生成をリアルタイムレベルに拡張するMotionLCMを導入している。
まず、動作遅延拡散モデル(MLD)に基づいて、動き生成のための動き潜時一貫性モデル(MotionLCM)を提案する。
論文 参考訳(メタデータ) (2024-04-30T17:59:47Z) - FLD: Fourier Latent Dynamics for Structured Motion Representation and
Learning [19.491968038335944]
本研究では,周期的・準周期的な動きの時空間関係を抽出する自己教師付き構造表現生成手法を提案する。
我々の研究は、一般的な動き表現と学習アルゴリズムの今後の進歩への新たな可能性を開く。
論文 参考訳(メタデータ) (2024-02-21T13:59:21Z) - Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳(メタデータ) (2023-12-14T12:57:35Z) - DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。
既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。
動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
論文 参考訳(メタデータ) (2023-12-07T04:39:22Z) - OmniControl: Control Any Joint at Any Time for Human Motion Generation [46.293854851116215]
テキスト条件付き人体動作生成モデルにフレキシブルな空間制御信号を統合するために,OmniControlという新しい手法を提案する。
本稿では,入力制御信号に厳密に適合した動作を実現するための解析的空間ガイダンスを提案する。
同時に、全ての関節を洗練してよりコヒーレントな動きを生み出すためにリアリズムガイダンスが導入された。
論文 参考訳(メタデータ) (2023-10-12T17:59:38Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-08-28T10:40:16Z) - BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion
Synthesis [14.331548412833513]
複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。
本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。
本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:39:05Z) - MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。
本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。
文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
論文 参考訳(メタデータ) (2022-12-08T18:59:48Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-12-08T03:07:00Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-16T09:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。