論文の概要: TalkingMachines: Real-Time Audio-Driven FaceTime-Style Video via Autoregressive Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.03099v1
• Date: Tue, 03 Jun 2025 17:29:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.890335
• Title: TalkingMachines: Real-Time Audio-Driven FaceTime-Style Video via Autoregressive Diffusion Models
• Title（参考訳）: TalkingMachines: 自動回帰拡散モデルによるリアルタイムオーディオ駆動FaceTimeスタイルビデオ
• Authors: Chetwin Low, Weimin Wang,
• Abstract要約: TalkingMachinesは、訓練済みのビデオ生成モデルをリアルタイム、オーディオ駆動のキャラクターアニメーターに変換する効率的なフレームワークである。 TalkingMachinesは、音声大言語モデル(LLM)とビデオ生成基盤モデルを統合することで、自然な会話体験を可能にする。
• 参考スコア（独自算出の注目度）: 2.176487921193175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present TalkingMachines -- an efficient framework that transforms pretrained video generation models into real-time, audio-driven character animators. TalkingMachines enables natural conversational experiences by integrating an audio large language model (LLM) with our video generation foundation model. Our primary contributions include: (1) We adapt a pretrained SOTA image-to-video DiT into an audio-driven avatar generation model of 18 billion parameters; (2) We enable infinite video streaming without error accumulation through asymmetric knowledge distillation from a bidirectional teacher model into a sparse causal, autoregressive student model; (3) We design a high-throughput, low-latency inference pipeline incorporating several key engineering optimizations such as: (a) disaggregation of the DiT and VAE decoder across separate devices, (b) efficient overlap of inter-device communication and computation using CUDA streams, (c) elimination of redundant recomputations to maximize frame-generation throughput. Please see demo videos here - https://aaxwaz.github.io/TalkingMachines/
• Abstract（参考訳）: 本稿では,事前学習した映像生成モデルをリアルタイムな音声駆動型キャラクターアニメーターに変換する,効率的なフレームワークであるTalkingMachinesを提案する。 TalkingMachinesは、音声大言語モデル(LLM)とビデオ生成基盤モデルを統合することで、自然な会話体験を可能にする。 主な貢献は,(1)事前学習したSOTA画像から映像へのDiTを18億パラメータのオーディオ駆動型アバター生成モデルに適合させる,(2) 双方向教師モデルからの非対称的知識蒸留による誤り蓄積のない無限のビデオストリーミングを,疎因性,自己回帰的学生モデルに適応させる,(3) 高スループット, 低遅延推論パイプラインを設計し, a)DiTとVAEデコーダを別々の装置で分解すること。 b)CUDAストリームを用いたデバイス間通信と計算の効率的なオーバーラップ。 (c)フレーム生成スループットを最大化する冗長再計算の排除。 デモビデオはこちら。https://aaxwaz.github.io/TalkingMachines/

関連論文リスト

• EasyGenNet: An Efficient Framework for Audio-Driven Gesture Video Generation Based on Diffusion Model [22.286624353800377]
  本研究では,2次元人間の骨格を中間動作表現として用い,音声合成のための新しいパイプラインを提案する。 実験の結果,本手法は既存のGAN法および拡散法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-11T08:19:18Z)
• Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis [13.702423348269155]
  Video-Text to Speech (VTTS) は、会話者のテキストとビデオの両方に条件付けされた音声生成タスクである。 視覚,テキスト,音声の入力を共有部分空間に埋め込む,マルチモーダルデコーダのみの統合トランスフォーマモデルであるVisatronicを導入する。 LRS3でのみ訓練されたSOTA法よりも優れた4.5%のWERが得られることを示す。
  論文  参考訳（メタデータ） (2024-11-26T18:57:29Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• Pheme: Efficient and Conversational Speech Generation [52.34331755341856]
  我々は,コンパクトだが高性能な会話型TSモデルを提供するPhemeモデルシリーズを紹介する。 小規模の会話データで効率的にトレーニングでき、データ要求を10倍に削減できるが、自動回帰的TSモデルの品質にマッチする。
  論文  参考訳（メタデータ） (2024-01-05T14:47:20Z)
• Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities [67.89368528234394]
  マルチモーダル学習の主な課題の1つは、異質なモダリティを組み合わせる必要があることである。 ビデオとオーディオはテキストよりもはるかに高いレートで取得され、ほぼ時間内に整列される。 我々の手法は、確立されたマルチモーダルベンチマークの最先端性を達成し、はるかに大きなモデルより優れている。
  論文  参考訳（メタデータ） (2023-11-09T19:15:12Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)
• FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis [77.06890315052563]
  我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。 実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T10:10:39Z)
• All in One: Exploring Unified Video-Language Pre-training [44.22059872694995]
  そこで本研究では,生のビデオとテキストの信号を共同表現に組み込んだ,エンドツーエンドのビデオ言語モデルであるtextitall-in-one Transformerを提案する。 コードと事前訓練されたモデルはhttps://github.com/showlab/all-in-one.comでリリースされた。
  論文  参考訳（メタデータ） (2022-03-14T17:06:30Z)
• End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
  GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。 本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。 このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
  論文  参考訳（メタデータ） (2021-04-27T17:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。