論文の概要: TDMM-LM: Bridging Facial Understanding and Animation via Language Models

• arxiv url: http://arxiv.org/abs/2603.16936v1
• Date: Sat, 14 Mar 2026 15:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.273269
• Title: TDMM-LM: Bridging Facial Understanding and Animation via Language Models
• Title（参考訳）: TDMM-LM:言語モデルによる顔の理解とアニメーションのブリッジ
• Authors: Luchuan Song, Pinxin Liu, Haiyang Liu, Zhenchao Jin, Yolo Yunlong Tang, Zichong Xu, Susan Liang, Jing Bi, Jason J Corso, Chenliang Xu,
• Abstract要約: 基礎生成モデルを利用して、顔の挙動のバランスの取れた大きなコーパスを合成する。 我々は、感情と頭部の動きをカバーするプロンプトスイートを設計し、複数のジェネレータで約80時間の顔ビデオを生成し、フレームごとの顔パラメータを適合させる。 このデータセットに基づいて、2つの相補的なタスクを通して、顔の動きに対する双方向能力のための言語モデルを探索する。
• 参考スコア（独自算出の注目度）: 46.82447117476669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-guided human body animation has advanced rapidly, yet facial animation lags due to the scarcity of well-annotated, text-paired facial corpora. To close this gap, we leverage foundation generative models to synthesize a large, balanced corpus of facial behavior. We design prompts suite covering emotions and head motions, generate about 80 hours of facial videos with multiple generators, and fit per-frame 3D facial parameters, yielding large-scale (prompt and parameter) pairs for training. Building on this dataset, we probe language models for bidirectional competence over facial motion via two complementary tasks: (1) Motion2Language: given a sequence of 3D facial parameters, the model produces natural-language descriptions capturing content, style, and dynamics; and (2) Language2Motion: given a prompt, the model synthesizes the corresponding sequence of 3D facial parameters via quantized motion tokens for downstream animation. Extensive experiments show that in this setting language models can both interpret and synthesize facial motion with strong generalization. To best of our knowledge, this is the first work to cast facial-parameter modeling as a language problem, establishing a unified path for text-conditioned facial animation and motion understanding.
• Abstract（参考訳）: テキストガイドによる人体アニメーションは急速に進歩しているが、十分に注釈を付けたテキストペアの顔コーパスが不足しているため、顔アニメーションのラグが増大している。 このギャップを埋めるために、我々は基礎的生成モデルを利用して、顔の振る舞いのバランスの取れた大きなコーパスを合成する。 感情と頭部の動きをカバーするプロンプトスイートを設計し、複数のジェネレータで約80時間の顔ビデオを生成し、フレームごとの顔パラメータを適合させ、トレーニング用に大規模な(プロンプトとパラメータ)ペアを生成する。 このデータセットに基づいて,(1)動き2言語:3次元の顔パラメータの列を与えられた場合,そのモデルがコンテンツ,スタイル,ダイナミクスをキャプチャする自然言語記述を生成する場合,(2)言語2運動:プロンプトを与えられた場合,下流アニメーションの量子化モーショントークンを用いて,対応する3次元の顔パラメータのシーケンスを合成する。 この設定言語モデルでは、強い一般化による顔の動きの解釈と合成が可能である。 我々の知識を最大限に活用するために、これは言語問題として顔パラメータモデリングを取り入れ、テキスト条件の顔アニメーションと動作理解の統一パスを確立する最初の試みである。

関連論文リスト

• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation [10.003794924759765]
  JoyVASAは、音声駆動型顔アニメーションにおける顔の動きと頭部の動きを生成する拡散法である。 本研究では,静的な3次元顔表現から動的表情を分離する分離された顔表現フレームワークを提案する。 第2段階では、拡散変圧器を訓練し、文字の同一性によらず、オーディオキューから直接動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-11-14T06:13:05Z)
• Media2Face: Co-speech Facial Animation Generation With Multi-Modality Guidance [41.692420421029695]
  本稿では,顔の形状と画像を高一般化された表現潜在空間にマッピングする,効率的な変分自動エンコーダを提案する。 次に、GNPFAを用いて、多数のビデオから高品質な表現と正確な頭部ポーズを抽出する。 GNPFAラテント空間における拡散モデルMedia2Faceを提案する。
  論文  参考訳（メタデータ） (2024-01-28T16:17:59Z)
• Mimic: Speaking Style Disentanglement for Speech-Driven 3D Facial Animation [41.489700112318864]
  音声駆動型3D顔アニメーションは、音声と正確に同期し、独特の話し方にマッチする鮮やかな顔アニメーションを合成することを目的としている。 本稿では,任意の発話スタイルの符号化を可能にする,革新的な発話スタイルのアンタングル化手法を提案する。 また,顔の動きから話し方や内容の絡み合った表現を学習する「textbfMimic」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T01:49:42Z)
• Breathing Life into Faces: Speech-driven 3D Facial Animation with Natural Head Pose and Detailed Shape [19.431264557873117]
  VividTalkerは、音声による3D顔アニメーションを促進するために設計された新しいフレームワークである。 顔のアニメーションを頭ポーズと口の動きに明確に切り離し、別々にエンコードする。 我々は,詳細な形状を持つ新しい3次元データセットを構築し,音声内容に合わせて顔の詳細を合成することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-31T07:47:19Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• Language-Guided Face Animation by Recurrent StyleGAN-based Generator [87.56260982475564]
  本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。 本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
  論文  参考訳（メタデータ） (2022-08-11T02:57:30Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。