論文の概要: TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation

• arxiv url: http://arxiv.org/abs/2608.24674v1
• Date: Tue, 25 Aug 2026 15:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.058233
• Title: TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation
• Title（参考訳）: TurboT2VA:Score-regularized Consistency Distillationによる大規模テキスト・ビデオ・オーディオ生成
• Abstract要約: TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。 LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。 完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 105.14745366152725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint text-to-video-audio generation produces synchronized visual and acoustic content, but the long sampling trajectories and heterogeneous multimodal computation of large models make inference prohibitively expensive. We present TurboT2VA, a distillation and inference framework for accelerating a 19B-parameter joint video-audio model. Large-scale T2VA distillation is challenged by modality-imbalanced optimization, the difficulty of continuous-time consistency training at scale, and the quality--diversity trade-off. TurboT2VA addresses these issues with per-modality normalization and a progressive curriculum comprising discrete consistency warm-up, continuous consistency refinement, and joint consistency--distribution matching. The curriculum first establishes a stable, diverse generation trajectory and only then introduces distribution-level refinement. On LTX-2, four-step distillation reduces generator latency from 50.52s to 2.51s at the standard evaluation resolution of 512$\times$768, achieving a 20.1$\times$ speedup while maintaining strong visual quality, audio fidelity, diversity, and video-audio synchronization. We further develop an architecture-aware inference stack that combines guarded W8A8 and fused operators, padded-text compaction, and modality-aware sparse attention while preserving dense cross-modal and text-conditioning paths. Under the high-resolution deployment setting at 1024$\times$1792, the complete stack reduces generator latency from 318.74s to 5.83s on one NVIDIA H20, achieving a 54.67$\times$ generator-only speedup. Inference code and generation demos are available at https://github.com/thu-ml/TurboDiffusion/tree/main/turbot2va.
• Abstract（参考訳）: 共同テキスト・ビデオ・オーディオ生成は、同期された視覚的・音響的内容を生成するが、長いサンプリング軌跡と大型モデルの異種マルチモーダル計算は、推論を不当に高価にする。 本稿では,19Bパラメーター共同オーディオモデルの高速化を目的とした蒸留・推論フレームワークであるTurboT2VAを提案する。 大規模T2VA蒸留は、モダリティ不均衡最適化、スケールでの連続的一貫性トレーニングの難しさ、品質と多様性のトレードオフによって挑戦されている。 TurboT2VAは、これらの問題に、モダリティごとの正規化と、離散的な一貫性のウォームアップ、連続的な一貫性の洗練、共同一貫性の分配マッチングを含むプログレッシブカリキュラムで対処する。 カリキュラムはまず安定的で多様な世代軌道を確立し、その後に分布レベルの洗練を導入する。 LTX-2では、4段階の蒸留により、標準的な評価解像度512$\times$768でジェネレータの遅延時間を50.52sから2.51sに短縮し、20.1$\times$ Speedupを達成した。 さらに、ガードされたW8A8と融合演算子、パッドドテキストのコンパクト化、モダリティ対応のスパースアテンションを組み合わせたアーキテクチャ対応推論スタックを開発し、高密度なクロスモーダルおよびテキストコンディショニングパスを保存する。 1024$\times$1792の高解像度デプロイメント設定の下で、完全なスタックはジェネレータのレイテンシを318.74sから5.83sに削減し、54.67$\times$ジェネレータのみのスピードアップを実現している。 推論コードと生成デモはhttps://github.com/thu-ml/TurboDiffusion/tree/main/turbot2vaで公開されている。

関連論文リスト

• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation [65.90400162290057]
  生成モデルは、コンテンツの作り方、スタイル、配信方法を再定義することで、ライブストリーミング業界を変革している。 ビデオ拡散の最近の進歩は、オフライン生成のための時間的一貫性とサンプリング効率を著しく改善した。 ライブオンラインストリーミングは厳しいサービスレベル(SLO)の下で動作します。 タイム・ツー・ファーストフレームは最小限でなければなりません。
  論文  参考訳（メタデータ） (2025-11-10T18:51:28Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• T2V-Turbo: Breaking the Quality Bottleneck of Video Consistency Model with Mixed Reward Feedback [111.40967379458752]
  本稿では,T2V-Turboについて述べる。T2V-Turboは,様々なモデルから得られるフィードバックを,事前学習したT2Vモデルの一貫性蒸留プロセスに統合する。 興味深いことに、我々のT2V-Turboの4段階の世代は、Gen-2とPikaを抜いてVBenchで最高スコアを達成した。
  論文  参考訳（メタデータ） (2024-05-29T04:26:17Z)
• StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation [52.56469577812338]
  本稿では,インタラクティブな画像生成のためのリアルタイム拡散パイプラインStreamDiffusionを紹介する。 既存の拡散モデルは、テキストや画像プロンプトから画像を作成するのに適しているが、リアルタイムのインタラクションでは不足することが多い。 本稿では,従来のシーケンシャル・デノナイジングをデノナイジング・プロセスに変換する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-19T18:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。