論文の概要: Guided Motion Diffusion for Controllable Human Motion Synthesis
- arxiv url: http://arxiv.org/abs/2305.12577v3
- Date: Sun, 29 Oct 2023 19:27:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 22:28:46.563146
- Title: Guided Motion Diffusion for Controllable Human Motion Synthesis
- Title(参考訳): 制御可能な人体動作合成のための誘導運動拡散
- Authors: Korrawe Karunratanakul, Konpat Preechakul, Supasorn Suwajanakorn, Siyu
Tang
- Abstract要約: 本稿では,空間的制約を運動生成プロセスに組み込む手法として,誘導運動拡散(GMD)を提案する。
具体的には、空間情報と局所的なポーズの一貫性を高めるために、動きの表現を操作する効果的な特徴投影方式を提案する。
本実験はGMDの開発を正当化し,テキストベースモーション生成における最先端手法を大幅に改善する。
- 参考スコア(独自算出の注目度): 18.660523853430497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion models have shown great promise in human motion synthesis
conditioned on natural language descriptions. However, integrating spatial
constraints, such as pre-defined motion trajectories and obstacles, remains a
challenge despite being essential for bridging the gap between isolated human
motion and its surrounding environment. To address this issue, we propose
Guided Motion Diffusion (GMD), a method that incorporates spatial constraints
into the motion generation process. Specifically, we propose an effective
feature projection scheme that manipulates motion representation to enhance the
coherency between spatial information and local poses. Together with a new
imputation formulation, the generated motion can reliably conform to spatial
constraints such as global motion trajectories. Furthermore, given sparse
spatial constraints (e.g. sparse keyframes), we introduce a new dense guidance
approach to turn a sparse signal, which is susceptible to being ignored during
the reverse steps, into denser signals to guide the generated motion to the
given constraints. Our extensive experiments justify the development of GMD,
which achieves a significant improvement over state-of-the-art methods in
text-based motion generation while allowing control of the synthesized motions
with spatial constraints.
- Abstract(参考訳): 発声拡散モデルは、自然言語記述に基づく人間の運動合成において大きな期待が持たれている。
しかし, 運動軌跡や障害物などの空間的制約の統合は, 孤立した人間の運動と周囲の環境とのギャップを埋めるのに不可欠であるにもかかわらず, 依然として課題である。
この問題を解決するために,空間制約を運動生成プロセスに組み込む手法であるガイド運動拡散(GMD)を提案する。
具体的には,空間情報と局所ポーズの一貫性を高めるために,動作表現を操作する効果的な特徴投影方式を提案する。
新しい計算式とともに、生成された動きは、大域的な運動軌跡のような空間的制約に確実に適合することができる。
さらに,空間的制約(例えばスパースキーフレーム)が与えられた場合,逆ステップで無視されやすいスパース信号を,生成された動作を所定の制約に導くためにより密な信号に変換するための,新しい密集した誘導手法を導入する。
広範な実験によりgmdの開発が正当化され,空間制約のある合成動作の制御が可能となり,テキストベースモーション生成における最先端手法よりも大幅に改善した。
関連論文リスト
- FLD: Fourier Latent Dynamics for Structured Motion Representation and
Learning [19.491968038335944]
本研究では,周期的・準周期的な動きの時空間関係を抽出する自己教師付き構造表現生成手法を提案する。
我々の研究は、一般的な動き表現と学習アルゴリズムの今後の進歩への新たな可能性を開く。
論文 参考訳(メタデータ) (2024-02-21T13:59:21Z) - DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。
既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。
動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
論文 参考訳(メタデータ) (2023-12-07T04:39:22Z) - InterControl: Generate Human Motion Interactions by Controlling Every
Joint [63.76228576042726]
各関節のフレキシブルな空間制御を実現するために,InterControlという新しい手法を提案する。
粗い空間制御信号が与えられたコヒーレントでリアルな動きを生成するために、モーション制御ネットを組み込む。
HumanML3DとKIT-MLデータセットの実験は、多目的関節制御におけるその効果を実証している。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - OmniControl: Control Any Joint at Any Time for Human Motion Generation [49.66617487733835]
テキスト条件付き人体動作生成モデルにフレキシブルな空間制御信号を統合するために,OmniControlという新しい手法を提案する。
本稿では,入力制御信号に厳密に適合した動作を実現するための解析的空間ガイダンスを提案する。
同時に、全ての関節を洗練してよりコヒーレントな動きを生み出すためにリアリズムガイダンスが導入された。
論文 参考訳(メタデータ) (2023-10-12T17:59:38Z) - BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion
Synthesis [14.331548412833513]
複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。
本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。
本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:39:05Z) - MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。
本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。
文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
論文 参考訳(メタデータ) (2022-12-08T18:59:48Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-12-08T03:07:00Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-16T09:06:25Z) - Conditional Motion In-betweening [19.470778961694453]
モーション・イン・ビートワイニング(英: Motion in-betweening、MIB)とは、特定のスタートとターゲットのポーズの間の中間的な骨格の動きを生成する過程である。
我々は、統一モデルを用いて、ポーズやセマンティックなMIBタスクを処理できる手法に焦点を当てる。
また,ポーズ条件付きモーション生成の品質向上のための動き増強手法を提案する。
論文 参考訳(メタデータ) (2022-02-09T06:47:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。