論文の概要: Versatile Multimodal Controls for Expressive Talking Human Animation

• arxiv url: http://arxiv.org/abs/2503.08714v3
• Date: Wed, 16 Apr 2025 02:43:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:37:16.266526
• Title: Versatile Multimodal Controls for Expressive Talking Human Animation
• Title（参考訳）: 対話型人間アニメーションのためのマルチモーダル・マルチモーダル制御
• Authors: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Zixin Zhu, Sanping Zhou, Ming Yang, Le Wang,
• Abstract要約: VersaAnimatorは、任意のポートレート画像から表現力のある人間の動画を合成する多目的フレームワークである。 本稿では,3次元動作トークンを2次元ポーズシーケンスにスムーズにマッピングするトークン2poseトランスレータを提案する。
• 参考スコア（独自算出の注目度）: 26.61771541877306
• License:
• Abstract: In filmmaking, directors typically allow actors to perform freely based on the script before providing specific guidance on how to present key actions. AI-generated content faces similar requirements, where users not only need automatic generation of lip synchronization and basic gestures from audio input but also desire semantically accurate and expressive body movement that can be ``directly guided'' through text descriptions. Therefore, we present VersaAnimator, a versatile framework that synthesizes expressive talking human videos from arbitrary portrait images. Specifically, we design a motion generator that produces basic rhythmic movements from audio input and supports text-prompt control for specific actions. The generated whole-body 3D motion tokens can animate portraits of various scales, producing talking heads, half-body gestures and even leg movements for whole-body images. Besides, we introduce a multi-modal controlled video diffusion that generates photorealistic videos, where speech signals govern lip synchronization, facial expressions, and head motions while body movements are guided by the 2D poses. Furthermore, we introduce a token2pose translator to smoothly map 3D motion tokens to 2D pose sequences. This design mitigates the stiffness resulting from direct 3D to 2D conversion and enhances the details of the generated body movements. Extensive experiments shows that VersaAnimator synthesizes lip-synced and identity-preserving videos while generating expressive and semantically meaningful whole-body motions.
• Abstract（参考訳）: 映画製作において、監督は通常、重要なアクションの提示方法に関する具体的なガイダンスを提供する前に、俳優が脚本に基づいて自由に演技することができる。 AI生成コンテンツも同様の要件に直面しており、ユーザーは音声入力から唇の同期と基本的なジェスチャーを自動的に生成するだけでなく、テキスト記述を通じて‘直接ガイド’できる意味的に正確で表現力のある身体の動きを欲しがる。 そこで我々は,任意のポートレート画像から表現力のある人間の映像を合成する多目的フレームワークであるVersaAnimatorを提案する。 具体的には、音声入力から基本リズム運動を生成するモーションジェネレータを設計し、特定の動作に対するテキストプロンプト制御をサポートする。 生成された全身3Dモーショントークンは、さまざまなスケールのポートレートをアニメーション化し、話し声の頭、半体ジェスチャー、さらには全身画像の脚の動きまで生成する。 さらに,音声信号が唇の同期,表情,頭部の動きを制御し,身体の動きを2Dのポーズで誘導する,写真リアリスティックビデオを生成するマルチモーダル制御ビデオ拡散を導入する。 さらに,3次元動作トークンを2次元ポーズシーケンスにスムーズにマッピングするトークン2poseトランスレータを導入する。 この設計は、直接3Dから2Dへの変換による剛性を軽減し、生成した体の動きの詳細を強化する。 大規模な実験により、VersaAnimatorは、表現的、意味論的に意味のある全身の動きを生成しながら、リップシンクおよびアイデンティティ保存ビデオを合成することがわかった。

関連論文リスト

• EMO2: End-Effector Guided Audio-Driven Avatar Video Generation [17.816939983301474]
  本稿では,表現力の高い表情と手の動きを同時に生成できる新しい音声駆動音声ヘッド手法を提案する。 第1段階では、音声信号と手の動きの強い相関を利用して、音声入力から直接手振りを生成する。 第2段階では、拡散モデルを用いてビデオフレームを合成し、第1段階で生成されたポーズを取り入れ、現実的な表情と身体の動きを生成する。
  論文  参考訳（メタデータ） (2025-01-18T07:51:29Z)
• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• LinguaLinker: Audio-Driven Portraits Animation with Implicit Facial Control Enhancement [8.973545189395953]
  本研究では,拡散に基づく手法による視覚的に魅力的な時間同期アニメーションの作成に焦点をあてる。 我々は音声の特徴を別々に処理し、画像の出自に関わらず、口、目、頭の動きを暗黙的に制御する対応する制御ゲートを導出する。 アニメーションポートレートの忠実さ,リップシンクの正確さ,および本手法により達成された適切な動作変化の大幅な改善により,任意の言語でポートレートをアニメーションするための汎用ツールとなった。
  論文  参考訳（メタデータ） (2024-07-26T08:30:06Z)
• Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation [71.08922726494842]
  テキスト駆動動作合成におけるタイムライン制御の問題を紹介する。 ユーザーは単一のプロンプトの代わりに、重複する可能性のある時間間隔に整理された複数のプロンプトのマルチトラックタイムラインを指定することができる。 マルチトラックタイムラインから合成アニメーションを生成するための新しいテスト時間復調手法を提案する。
  論文  参考訳（メタデータ） (2024-01-16T18:39:15Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• 3DiFACE: Diffusion-based Speech-driven 3D Facial Animation and Editing [22.30870274645442]
  3DiFACEは、音声による顔のアニメーションと編集をパーソナライズする新しい方法である。 提案手法は,既存の最先端技術より優れ,忠実度と多様性が向上した音声駆動型アニメーションを実現する。
  論文  参考訳（メタデータ） (2023-12-01T19:01:05Z)
• Learning Audio-Driven Viseme Dynamics for 3D Face Animation [17.626644507523963]
  入力音声からリアルな唇同期3Dアニメーションを生成できる,新しい音声駆動型顔アニメーション手法を提案する。 提案手法は,音声ビデオからビセメダイナミクスを学習し,アニメーターフレンドリーなビセメ曲線を生成し,多言語音声入力をサポートする。
  論文  参考訳（メタデータ） (2023-01-15T09:55:46Z)
• Audio-Driven Co-Speech Gesture Video Generation [92.15661971086746]
  音声駆動型音声合成におけるこの課題を定義し,検討する。 私たちの重要な洞察は、共同音声ジェスチャーは共通の動きパターンと微妙なリズムダイナミクスに分解できるということです。 本稿では,再利用可能な音声のジェスチャーパターンを効果的に捉えるための新しいフレームワークであるAudio-driveN Gesture vIdeo gEneration(ANGIE)を提案する。
  論文  参考訳（メタデータ） (2022-12-05T15:28:22Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。