論文の概要: SMooDi: Stylized Motion Diffusion Model

• arxiv url: http://arxiv.org/abs/2407.12783v1
• Date: Wed, 17 Jul 2024 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 16:06:20.148948
• Title: SMooDi: Stylized Motion Diffusion Model
• Title（参考訳）: SMooDi:スティル化運動拡散モデル
• Authors: Lei Zhong, Yiming Xie, Varun Jampani, Deqing Sun, Huaizu Jiang,
• Abstract要約: 本稿では、コンテンツテキストとスタイルシーケンスによって駆動されるスタイル化された動作を生成するための、SMooDiと呼ばれる新しいスティル化モーション拡散モデルを提案する。 提案手法は,従来のスタイル化動作生成手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 46.293854851116215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel Stylized Motion Diffusion model, dubbed SMooDi, to generate stylized motion driven by content texts and style motion sequences. Unlike existing methods that either generate motion of various content or transfer style from one sequence to another, SMooDi can rapidly generate motion across a broad range of content and diverse styles. To this end, we tailor a pre-trained text-to-motion model for stylization. Specifically, we propose style guidance to ensure that the generated motion closely matches the reference style, alongside a lightweight style adaptor that directs the motion towards the desired style while ensuring realism. Experiments across various applications demonstrate that our proposed framework outperforms existing methods in stylized motion generation.
• Abstract（参考訳）: 本稿では,コンテンツテキストとスタイルの動作シーケンスによって駆動されるスタイル化された動きを生成するための,SMooDiと呼ばれる新しい動き拡散モデルを提案する。 様々なコンテンツの動きを生成する既存の方法と異なり、SMooDiは幅広いコンテンツや多様なスタイルで素早く動きを生成することができる。 この目的のために,タイマライゼーションのための事前学習されたテキスト・ツー・モーション・モデルを調整する。 具体的には、生成した動きが参照スタイルと密接に一致することを保証するためのスタイルガイダンスと、現実性を確保しつつ、所望のスタイルに向けて動きを指示する軽量なスタイル適応器を提案する。 様々なアプリケーションを対象とした実験により,提案手法が従来のスタイル化動作生成法よりも優れていることが示された。

関連論文リスト

• MoST: Motion Style Transformer between Diverse Action Contents [23.62426940733713]
  そこで本研究では,コンテンツからスタイルを効果的に切り離し,ソースモーションから転送されたスタイルを持つ可視動作を生成する新しい動き変換器を提案する。 提案手法は既存の手法より優れており,特に異なる内容のモーションペアにおいて,後処理を必要とせず,非常に高品質であることを示す。
  論文  参考訳（メタデータ） (2024-03-10T14:11:25Z)
• Generative Human Motion Stylization in Latent Space [42.831468727082694]
  単一動作(遅延)符号の多種多様なスタイリング結果を生成する新しい生成モデルを提案する。 推論では、ユーザーは参照動作やラベルからスタイルキューを使用して動きをスタイル化することができる。 提案手法は, 軽量な設計にもかかわらず, スタイル再現, コンテンツ保存, 一般化において, 最先端のスタイリングモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-24T14:53:13Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• Customizing Motion in Text-to-Video Diffusion Models [79.4121510826141]
  動作をカスタマイズしたテキスト・ビデオ・ジェネレーション・モデルを構築するためのアプローチを提案する。 入力として特定の動きを示すビデオサンプルを活用することで,入力動作パターンを多種多様なテキスト特定シナリオに対して学習し,一般化する。
  論文  参考訳（メタデータ） (2023-12-07T18:59:03Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• MODIFY: Model-driven Face Stylization without Style Images [77.24793103549158]
  既存の顔のスタイリング手法は、翻訳プロセス中に常にターゲット(スタイル)ドメインの存在を取得する。 そこで本研究では,MODel-drIven Face stYlization (MODIFY) と呼ばれる新たな手法を提案する。 複数の異なるデータセットに対する実験結果は、教師なし顔のスタイリングにおけるMODIFYの有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-17T08:35:17Z)
• ZeroEGGS: Zero-shot Example-based Gesture Generation from Speech [6.8527462303619195]
  我々は、ゼロショットスタイル制御を例に挙げ、音声駆動ジェスチャ生成のためのニューラルネットワークフレームワークZeroEGGSを提案する。 我々のモデルはスタイル埋め込みを学習するために変分フレームワークを使用し、遅延空間操作やスタイル埋め込みのブレンディングやスケーリングによるスタイルの変更を容易にする。 本研究では, 動作の自然性, 発話, スタイルの描写において, 従来の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-15T18:34:30Z)
• Style-ERD: Responsive and Coherent Online Motion Style Transfer [13.15016322155052]
  スタイル転送はキャラクターアニメーションを豊かにする一般的な方法である。 動きをオンラインでスタイル化するための新しいスタイル転送モデルであるStyle-ERDを提案する。 本手法は,動作を複数のターゲットスタイルに統一したモデルでスタイリングする。
  論文  参考訳（メタデータ） (2022-03-04T21:12:09Z)
• Real-Time Style Modelling of Human Locomotion via Feature-Wise Transformations and Local Motion Phases [13.034241298005044]
  本稿では、アニメーション合成ネットワークを用いて、局所的な動き位相に基づく動きコンテンツをモデル化するスタイルモデリングシステムを提案する。 追加のスタイル変調ネットワークは、機能ワイズ変換を使用してリアルタイムでスタイルを変調する。 リアルタイムスタイルモデリングの他の手法と比較して,動作品質を向上しつつ,そのスタイル表現においてより堅牢で効率的であることを示す。
  論文  参考訳（メタデータ） (2022-01-12T12:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。