論文の概要: Unifying Human Motion Synthesis and Style Transfer with Denoising
Diffusion Probabilistic Models
- arxiv url: http://arxiv.org/abs/2212.08526v1
- Date: Fri, 16 Dec 2022 15:15:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 14:54:51.713377
- Title: Unifying Human Motion Synthesis and Style Transfer with Denoising
Diffusion Probabilistic Models
- Title（参考訳）: 拡散確率モデルによる人間の運動合成とスタイル伝達の統一
- Authors: Ziyi Chang, Edmund J. C. Findlay, Haozheng Zhang and Hubert P. H. Shum
- Abstract要約: デジタル人間のためのリアルな動きを生成することは、コンピュータアニメーションやゲームの中核だが挑戦的な部分である。
スタイル付きモーション合成のためのデノナイズ拡散モデル解を提案する。
局所的な誘導のために人の動きの側面を戦略的に生成する拡散モデルのマルチタスクアーキテクチャを設計する。
- 参考スコア（独自算出の注目度）: 9.789705536694665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating realistic motions for digital humans is a core but challenging
part of computer animations and games, as human motions are both diverse in
content and rich in styles. While the latest deep learning approaches have made
significant advancements in this domain, they mostly consider motion synthesis
and style manipulation as two separate problems. This is mainly due to the
challenge of learning both motion contents that account for the inter-class
behaviour and styles that account for the intra-class behaviour effectively in
a common representation. To tackle this challenge, we propose a denoising
diffusion probabilistic model solution for styled motion synthesis. As
diffusion models have a high capacity brought by the injection of
stochasticity, we can represent both inter-class motion content and intra-class
style behaviour in the same latent. This results in an integrated, end-to-end
trained pipeline that facilitates the generation of optimal motion and
exploration of content-style coupled latent space. To achieve high-quality
results, we design a multi-task architecture of diffusion model that
strategically generates aspects of human motions for local guidance. We also
design adversarial and physical regulations for global guidance. We demonstrate
superior performance with quantitative and qualitative results and validate the
effectiveness of our multi-task architecture.
- Abstract（参考訳）: 人間の動きは内容が多様であり、スタイルも豊かであるため、デジタル人間のリアルな動きを生み出すことは、コンピュータアニメーションやゲームの中核だが挑戦的な部分である。
最新のディープラーニングアプローチはこの領域で大きな進歩を遂げているが、主に動作合成とスタイル操作を2つの別の問題として考える。
これは主に、クラス間の動作を考慮したモーションコンテンツと、共通の表現においてクラス内動作を効果的に考慮したスタイルの両方を学ぶことによる。
この課題に対処するために,スタイル付きモーション合成のための拡散確率モデル解を提案する。
拡散モデルは確率性の注入により高いキャパシティを持つため、クラス間の運動内容とクラス内の動作の両方を同じ潜伏状態に表現することができる。
これにより、最適な動きの生成とコンテンツスタイルの結合された潜在空間の探索を容易にする、エンドツーエンドのトレーニングパイプラインが統合される。
高品質な結果を得るために,局所誘導のための人間の動作の側面を戦略的に生成する拡散モデルのマルチタスクアーキテクチャを設計する。
我々はまた、グローバルガイダンスのための敵的および物理的規制を設計する。
定量的および定性的な結果を用いて優れた性能を示し、マルチタスクアーキテクチャの有効性を検証する。
関連論文リスト
- Generation of Complex 3D Human Motion by Temporal and Spatial Composition of Diffusion Models [9.739611757541535]
私たちのアプローチでは、複雑なアクションをより単純な動き、特にトレーニング中に観察される動作に分解します。
これらの単純な動きは、拡散モデルの性質を用いて単一の現実的なアニメーションに結合される。
本研究では,2つの人間の動作データセットを基本的な動作と複雑な動作に分割して評価し,その性能を最先端の動作と比較する。
論文 参考訳（メタデータ） (2024-09-18T12:32:39Z) - in2IN: Leveraging individual Information to Generate Human INteractions [29.495166514135295]
In2IN(in2IN)は、人間と人間の動作生成を個別に記述した新しい拡散モデルである。
In2INで生成された動きと、HumanML3Dで事前訓練された1人の動きによって生成された動きとを組み合わせたモデル合成手法であるDualMDMを提案する。
論文 参考訳（メタデータ） (2024-04-15T17:59:04Z) - MambaTalk: Efficient Holistic Gesture Synthesis with Selective State Space Models [22.044020889631188]
マルチモーダル統合によるジェスチャーの多様性とリズムを向上させるMambaTalkを紹介する。
我々の手法は最先端のモデルの性能と一致するか超えている。
論文 参考訳（メタデータ） (2024-03-14T15:10:54Z) - DiverseMotion: Towards Diverse Human Motion Generation via Discrete
Diffusion [70.33381660741861]
テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。
我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
論文 参考訳（メタデータ） (2023-09-04T05:43:48Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-08-28T10:40:16Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳（メタデータ） (2023-07-24T12:21:33Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-12-08T03:07:00Z) - Denoising Diffusion Probabilistic Models for Styled Walking Synthesis [9.789705536694665]
本稿では,拡散確率モデル(DDPM)を用いて人体動作を合成するフレームワークを提案する。
実験結果から,本システムは高品質かつ多様な歩行運動を生成できることが示唆された。
論文 参考訳（メタデータ） (2022-09-29T14:45:33Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z) - Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis [117.15586710830489]
本研究では,ターゲットアクションシーケンスの誘導の下で,多様なシーンを意識した人間の動作を合成する問題に焦点をあてる。
この因子化スキームに基づいて、各サブモジュールが1つの側面をモデリングする責任を負う階層的なフレームワークが提案されている。
実験の結果,提案手法は,多様性と自然性の観点から,従来の手法よりも著しく優れていた。
論文 参考訳（メタデータ） (2022-05-25T18:20:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。