論文の概要: TokTalk: Expressive Real-time Facial Animation from Audio-LLM Tokens
- arxiv url: http://arxiv.org/abs/2605.31294v1
- Date: Fri, 29 May 2026 13:31:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.635842
- Title: TokTalk: Expressive Real-time Facial Animation from Audio-LLM Tokens
- Title（参考訳）: TokTalk:Audio-LLM Tokensによる表情のあるリアルタイム顔アニメーション
- Abstract要約: TokTalkは,ストリーミング音声から表情の表情を直接リアルタイムで出力するシステムである。
軽量な適応戦略により、トレーニングされたモデルは、最小の計算オーバーヘッドでトークンベースのAudio-LLMにシームレスに接続することができます。
TokTalkのリアルタイム性能は先行技術に匹敵するレイテンシであり, 3次元顔の画質, 表現性, 制御性において極めて良好であることを示す。
- 参考スコア（独自算出の注目度）: 17.040246879872214
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in Audio-LLMs like GPT-4o have ushered in an era of conversational interaction with language models. Conversational avatars however, still seem robotic in facial expression and conversational flow, in part due to sequential stages of speech recognition, text generation, turn-based text response, speech synthesis, and audio driven facial animation. Based on our insight that audio-tokens produced by current Audio-LLMs carry sufficient information to reconstruct a plausible facial performance, we present TokTalk, a system that directly outputs expressive facial animation in real-time from streaming audio-tokens. We construct a novel audio-token to 3D facial motion dataset, on which TokTalk is trained using a Chunk-based Conditional Flow Matching model. A lightweight adaptation strategy allows our trained model to seamlessly connect to any token-based Audio-LLM at minimal computational overhead. Our chunk-based processing further enables parametric trade-off between latency and facial quality, shown through ablation studies. We further show that the real-time performance of TokTalk is comparable in latency to prior art solutions, and significantly favorable (via a perceptual study) in terms of quality, expressivity and control of the 3D facial performance. We showcase TokTalk's flexibility using a chatbot Avatar, a voice-driven user Avatar, and an animation Director's interface, as diverse audio-visual face applications.
- Abstract（参考訳）: GPT-4oのようなオーディオ-LLMの最近の進歩は、言語モデルとの対話の時代を後押ししている。
しかし、会話アバターは、音声認識、テキスト生成、ターンベースのテキスト応答、音声合成、音声駆動の顔アニメーションの逐次的な段階のために、顔の表情や会話の流れにおいてロボット的に見える。
現状のAudio-LLMが生み出す音声トウケは、顔のパフォーマンスを再現するのに十分な情報を持っているという知見に基づいて、ストリーミングオーディオトウケから表情をリアルタイムに出力するシステムであるTokTalkを提案する。
そこで我々は,Chunkベースの条件付きフローマッチングモデルを用いて,TokTalkを訓練した新しい3次元顔動作データセットを構築した。
軽量な適応戦略により、トレーニングされたモデルは、最小の計算オーバーヘッドでトークンベースのAudio-LLMにシームレスに接続することができます。
我々のチャンクベースの処理は、アブレーション研究により、レイテンシーと顔の質のパラメトリックなトレードオフを可能にする。
さらに,TokTalkのリアルタイム性能は先行技術に匹敵するレイテンシであり,3D顔の画質,表現性,制御の面では,(知覚的な研究を通じて)極めて良好であることを示す。
TokTalkの柔軟性を,チャットボットのAvatar,音声駆動のAvatar,アニメーションディレクタのインターフェースを使って紹介する。
関連論文リスト
- StreamingTalker: Audio-driven 3D Facial Animation with Autoregressive Diffusion Model [73.30619724574642]
音声駆動型3D顔アニメーションは、音声入力によって駆動される現実的で同期された顔の動きを生成することを目的としている。
近年,3次元顔アニメーションに音声条件拡散モデルが採用されている。
本稿では,ストリーミング方式で音声を処理する自己回帰拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-11-18T07:55:16Z) - AV-Flow: Transforming Text to Audio-Visual Human-like Interactions [101.31009576033776]
AV-Flowは、テキスト入力のみを与えられた写真リアリスティックな4D音声アバターを識別するオーディオ視覚生成モデルである。
人間の音声合成, 唇の動きの同期, 表情の鮮やかさ, 頭ポーズを実演した。
論文 参考訳（メタデータ） (2025-02-18T18:56:18Z) - GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。
本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
論文 参考訳（メタデータ） (2024-11-27T18:54:08Z) - AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D
Talking Face Generation [28.71632683090641]
本稿では,表情生成のための音声・視覚指導システムを提案する。
人間の音声から直接顔の動きを学習する代わりに、私たちの2段階の戦略はLLMが最初に音声情報を解釈することを含む。
この2段階のプロセスは、LLMの組み込みと組み合わせて、モデルの解釈可能性を高め、ユーザーに命令を理解する柔軟性を提供する。
論文 参考訳（メタデータ） (2024-02-25T15:51:05Z) - Neural Text to Articulate Talk: Deep Text to Audiovisual Speech
Synthesis achieving both Auditory and Photo-realism [26.180371869137257]
会話顔生成における最先端技術は、主にリップシンキングに焦点を当て、音声クリップに条件付けされている。
NEUral Text to ARticulate Talk (NEUTART) は、音声視覚機能空間を用いた音声合成システムである。
モデルは、人間のような調音と、よく同期されたオーディオヴィジュアルストリームを備えた、フォトリアリスティックなトーキングフェイスビデオを生成する。
論文 参考訳（メタデータ） (2023-12-11T18:41:55Z) - PMMTalk: Speech-Driven 3D Facial Animation from Complementary Pseudo
Multi-modal Features [22.31865247379668]
音声駆動の3D顔アニメーションは、最近大幅に改善されている。
関連作品の多くは音響的モダリティのみを利用しており、視覚的・テキスト的手がかりの影響を無視している。
顔アニメーションの精度を向上させるために,Pseudo Multi-Modal 機能を用いた新しいフレームワーク PMMTalk を提案する。
論文 参考訳（メタデータ） (2023-12-05T14:12:38Z) - Ada-TTA: Towards Adaptive High-Quality Text-to-Talking Avatar Synthesis [66.43223397997559]
入力テキストに対応する高品質な音声ポートレート映像を合成することを目的としている。
この課題は、デジタルヒューマン産業における幅広い応用の見通しを持っているが、まだ技術的には達成されていない。
本稿では,Ada-TTA(Adaptive Text-to-Talking Avatar)を提案する。
論文 参考訳（メタデータ） (2023-06-06T08:50:13Z) - FaceXHuBERT: Text-less Speech-driven E(X)pressive 3D Facial Animation
Synthesis Using Self-Supervised Speech Representation Learning [0.0]
FaceXHuBERTは、テキストレス音声駆動の3D顔アニメーション生成方法である。
背景雑音に対して非常に頑丈で、様々な状況で録音された音声を処理できる。
アニメーションの写実性に関しては78%の精度で優れた結果が得られる。
論文 参考訳（メタデータ） (2023-03-09T17:05:19Z) - Joint Audio-Text Model for Expressive Speech-Driven 3D Facial Animation [46.8780140220063]
本稿では,表情駆動型3次元顔画像の文脈情報を取得するための共同音声テキストモデルを提案する。
我々の仮説は、音声と強く相関しない上面表現のバリエーションを曖昧にすることができるというものである。
音声と音声の同期を保ちながら現実的な表情を合成できることを示す。
論文 参考訳（メタデータ） (2021-12-04T01:37:22Z) - MeshTalk: 3D Face Animation from Speech using Cross-Modality
Disentanglement [142.9900055577252]
本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。
このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
論文 参考訳（メタデータ） (2021-04-16T17:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。