論文の概要: Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model
- arxiv url: http://arxiv.org/abs/2603.21986v1
- Date: Mon, 23 Mar 2026 13:49:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.694439
- Title: Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model
- Title（参考訳）: Speed by Simplicity: 高速オーディオビデオ生成ファウンデーションモデルのためのシングルストリームアーキテクチャ
- Abstract要約: 本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。
DaVinci-MagiHumanは、単一ストリームトランスフォーマーを使用して、同期ビデオとオーディオを共同で生成する。
中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
- 参考スコア（独自算出の注目度）: 52.79436545460808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present daVinci-MagiHuman, an open-source audio-video generative foundation model for human-centric generation. daVinci-MagiHuman jointly generates synchronized video and audio using a single-stream Transformer that processes text, video, and audio within a unified token sequence via self-attention only. This single-stream design avoids the complexity of multi-stream or cross-attention architectures while remaining easy to optimize with standard training and inference infrastructure. The model is particularly strong in human-centric scenarios, producing expressive facial performance, natural speech-expression coordination, realistic body motion, and precise audio-video synchronization. It supports multilingual spoken generation across Chinese (Mandarin and Cantonese), English, Japanese, Korean, German, and French. For efficient inference, we combine the single-stream backbone with model distillation, latent-space super-resolution, and a Turbo VAE decoder, enabling generation of a 5-second 256p video in 2 seconds on a single H100 GPU. In automatic evaluation, daVinci-MagiHuman achieves the highest visual quality and text alignment among leading open models, along with the lowest word error rate (14.60%) for speech intelligibility. In pairwise human evaluation, it achieves win rates of 80.0% against Ovi 1.1 and 60.9% against LTX 2.3 over 2000 comparisons. We open-source the complete model stack, including the base model, the distilled model, the super-resolution model, and the inference codebase.
- Abstract（参考訳）: 本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。
daVinci-MagiHumanは、テキスト、ビデオ、オーディオを自己アテンションのみを通じて統一トークンシーケンス内で処理する単一ストリームトランスフォーマーを使用して、同期されたビデオとオーディオを共同で生成する。
このシングルストリーム設計は、マルチストリームやクロスアテンションアーキテクチャの複雑さを回避しつつ、標準的なトレーニングや推論インフラストラクチャで簡単に最適化できる。
このモデルは人間中心のシナリオにおいて特に強く、表現力のある顔のパフォーマンス、自然な音声表現調整、現実的な身体の動き、正確な音声とビデオの同期を生成する。
中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
効率的な推論のために、単一ストリームバックボーンをモデル蒸留、潜在空間超解像、Turbo VAEデコーダと組み合わせ、単一のH100 GPU上で5秒256pビデオを生成する。
自動評価では、daVinci-MagiHumanは主要なオープンモデルの中で最高の視覚的品質とテキストアライメントを達成し、音声認識における単語誤り率 (14.60%) は低い。
対人評価では、2000年のLTX 2.3と比較すると、Ovi 1.1に対して80.0%の勝利率と60.9%の勝利率を達成する。
ベースモデル、蒸留モデル、超解像モデル、推論コードベースを含む、完全なモデルスタックをオープンソースにします。
関連論文リスト
- TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。
本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。
このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
論文 参考訳（メタデータ） (2026-09-08T13:03:46Z) - JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation [112.614973927778]
ジョイントオーディオビデオ生成(JAVG)は、テキスト記述から同期的で意味的に整合した音と視覚を生成する。
本稿では,JAVGの統一モデリングと最適化のためのフレームワークであるJavisDiT++を提案する。
本モデルでは,約100万の公開トレーニングエントリで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-22T12:44:28Z) - ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。
音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。
ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
論文 参考訳（メタデータ） (2026-02-09T14:06:03Z) - JUST-DUB-IT: Video Dubbing via Joint Audio-Visual Diffusion [47.70095297438178]
軽量なLoRAによるビデオダビングにオーディオ・ビデオ拡散モデルを適用する単一モデルアプローチを提案する。
言語スイッチを1つのクリップで生成し、その半分の顔と音声を他の半分の言語にマッチさせる。
提案手法は,既存のダビングパイプラインと比較して,視覚的忠実度,唇の同期性,ロバスト性を改善した高品質なビデオを生成する。
論文 参考訳（メタデータ） (2026-01-29T18:57:13Z) - SoundReactor: Frame-level Online Video-to-Audio Generation [39.113214321291586]
Video-to-Audio生成モデルは、ビデオシーケンス全体やフレームのチャンクが事前に用意されていることを前提として、オフラインで動作する。
本稿では,フレームレベルのオンラインV2A生成の新たな課題を紹介する。
SoundReactorは、このタスク用に明示的に調整された、最初のシンプルで効果的なフレームワークである。
論文 参考訳（メタデータ） (2025-10-02T15:18:00Z) - Qwen3-Omni Technical Report [105.11829337290249]
Qwen3-Omniは、テキスト、画像、オーディオ、ビデオ間で最先端のパフォーマンスを維持する単一のマルチモーダルモデルである。
Qwen3-OmniはQwenシリーズ内の同一サイズのシングルモーダルモデルのパフォーマンスと一致し、特にオーディオタスクに優れる。
119言語でのテキストインタラクション、19言語での音声理解、および10言語での音声生成をサポートする。
論文 参考訳（メタデータ） (2025-09-22T13:26:24Z) - VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model [84.25283710008785]
VITA-Audioは、高速な音声テキストトークン生成を備えたエンドツーエンドの大規模音声モデルである。
MCTPモジュールは、単一のモデルフォワードパス内で複数のオーディオトークンを効率よく生成する。
4段階のプログレッシブ・トレーニング・ストラテジーは,音声品質の低下を最小限に抑えたモデルアクセラレーションを実現するために検討された。
論文 参考訳（メタデータ） (2025-05-06T17:59:53Z) - xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。
VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。
DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
論文 参考訳（メタデータ） (2024-08-22T17:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。