論文の概要: TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation

• arxiv url: http://arxiv.org/abs/2611.03394v1
• Date: Mon, 02 Nov 2026 16:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:48:22.184841
• Title: TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
• Title（参考訳）: TaoMate-HD:プログレッシブ・リゾリューション・オートレグレッシブ・オーディオ・ビデオ・ジェネレーション
• Abstract要約: デジタル人間をストリーミングすると、新しいテキストが到着すると、スピーチを継続しながら詳細なビデオが生成される。 本稿では,高解像度オーディオビデオストリーミングのための自己回帰モデルであるTaoMate-HDを提案する。
• 参考スコア（独自算出の注目度）: 16.064010981127634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming digital humans produce detailed video while continuing speech as new text arrives. High-resolution denoising is costly, and text updates can cause repeated or interrupted speech. We present TaoMate-HD, an autoregressive model for high-resolution audio-video streaming. For each short segment, or chunk, two denoising steps establish coarse video structure at low resolution. A final step refines the video to high resolution, with audio generated throughout the same trajectory. Each stage passes its audiovisual predictions to the same stage of the next chunk as history. Across text updates, the model retains this history to infer what has already been spoken. Continuation training utilizes asymmetric text conditioning, with separate text windows for generation and distillation. Experiments show a 1.6x speedup over direct high-resolution generation with the same model and hardware. Optimized stage-parallel deployment provides a further 1.9x overall speedup over serial progressive generation. Our continuation training reduces character error rate by 11.18 percentage points relative to the baseline. The model also supports hour-long audiovisual generation. Our project page is https://taoliveaigc.github.io/TaoMate-HD.
• Abstract（参考訳）: デジタル人間をストリーミングすると、新しいテキストが到着すると、スピーチを継続しながら詳細なビデオが生成される。 高解像度の復調はコストが高く、テキスト更新は繰り返しまたは中断された音声を引き起こす可能性がある。 本稿では,高解像度オーディオビデオストリーミングのための自己回帰モデルであるTaoMate-HDを提案する。 各ショートセグメント、またはチャンクに対して、2つのデノナイズドステップは、低解像度で粗いビデオ構造を確立する。 最後のステップはビデオの高解像度化であり、同じ軌跡を通して音声が生成される。 各ステージは、そのオーディオ視覚予測を、ヒストリーの次のチャンクの同じステージに渡す。 テキスト更新全体を通じて、このモデルは、既に話されていることを推測するために、この履歴を保持します。 継続トレーニングは、生成と蒸留のために別々のテキストウィンドウを備えた非対称テキストコンディショニングを利用する。 実験では、同じモデルとハードウェアで直接の高解像度生成よりも1.6倍のスピードアップを示す。 最適化されたステージ並列デプロイメントは、シリアル・プログレッシブ・ジェネレーションよりも1.9倍のスピードアップを提供する。 我々の継続訓練は、基準値に対して文字誤り率を11.18ポイント削減する。 また、1時間単位のオーディオヴィジュアル生成もサポートしている。 私たちのプロジェクトページはhttps://taoliveaigc.github.io/TaoMate-HDです。

関連論文リスト

• Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming [24.73791931334844]
  Vorch-Streamerは、リアルタイム・ロングフォームのText-to-Audio-Video(T2AV)ストリーミングを可能にするポストトレーニングフレームワークである。 12～21秒にまたがる80Kアバタークリップの合成コーパスを構築し、まず教師強制と拡散強制を混合した因果生成器を訓練する。 コンテキスト境界と4段階のデノベーションにより、Vorch-Streamerはテキストから27.12 FPSで音声とビデオを共同生成し、24-FPSのリアルタイム再生速度を超える。
  論文  参考訳（メタデータ） (2026-08-06T07:00:37Z)
• OmniVR: Joint Video-Audio Conditional Generation for Restoring Degraded Historical Films [77.65090601396003]
  歴史的映画は視覚とオーディオの劣化に悩まされている。 オムニVR(OmniVR)は,初の共同音声合成再生モデルである。
  論文  参考訳（メタデータ） (2026-08-04T21:00:57Z)
• Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
  本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-26T07:48:47Z)
• ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
  ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。 音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。 ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-09T14:06:03Z)
• SoundReactor: Frame-level Online Video-to-Audio Generation [39.113214321291586]
  Video-to-Audio生成モデルは、ビデオシーケンス全体やフレームのチャンクが事前に用意されていることを前提として、オフラインで動作する。 本稿では,フレームレベルのオンラインV2A生成の新たな課題を紹介する。 SoundReactorは、このタスク用に明示的に調整された、最初のシンプルで効果的なフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T15:18:00Z)
• Progressive Autoregressive Video Diffusion Models [24.97019070991881]
  本稿では,映像拡散モデルにおける雑音レベルの仮定を再考することにより,より自然な自己回帰長ビデオ生成法を提案する。 私たちのキーとなるアイデアは、フレームごとにフレームを割り当てることです。 プログレッシブノイズスケジュールを備えたビデオ拡散モデルでは,ベースラインに比べて忠実度が大幅に向上した長いビデオを自動回帰的に生成することができる。
  論文  参考訳（メタデータ） (2024-10-10T17:36:15Z)
• Autoregressive Diffusion Transformer for Text-to-Speech Synthesis [39.32761051774537]
  連続空間$mathbb Rd$のベクトル列として音響を符号化し、これらの列を自己回帰的に生成する。 高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。
  論文  参考訳（メタデータ） (2024-06-08T18:57:13Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis [77.06890315052563]
  我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。 実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T10:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。