論文の概要: Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation

• arxiv url: http://arxiv.org/abs/2610.05608v1
• Date: Sun, 04 Oct 2026 23:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 12:35:23.116182
• Title: Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation
• Title（参考訳）: Kandinsky 6.0 Video: 同期ビデオとオーディオ生成の基礎モデル
• Abstract要約: 我々は、シンクロナイズドテキスト・オーディオ・ビデオ生成のための基礎拡散モデルであるKandinsky 6.0 Videoを紹介する。 どちらのモデルも、テキスト・トゥ・オーディオ・ビデオ(T2AV)と画像・トゥ・オーディオ・ビデオ(I2AV)モードで、44kHzのオーディオを同期した5秒のビデオクリップを生成する。 内蔵超解像モデルによる出力分解能のフルHD化(1920$times$1080)
• 参考スコア（独自算出の注目度）: 125.33885207146083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Kandinsky 6.0 Video, a family of foundation diffusion models for synchronized text-to-audio-video generation, comprising Kandinsky 6.0 Video Lite (3B parameters) and Kandinsky 6.0 Video Pro (29B parameters). Both models generate 5-second video clips with synchronized 44 kHz audio, including lip-sync, in text-to-audio-video (T2AV) and image-to-audio-video (I2AV) modes; a built-in super-resolution model raises the output resolution to Full-HD (1920$\times$1080). Building on the video generation capabilities of Kandinsky 5.0, Kandinsky 6.0 Video employs a dual-stream CrossDiT architecture that connects a pretrained video stream and a newly trained audio stream through bidirectional cross-attention for temporal and semantic alignment. Our continuous pretraining strategy first trains the audio stream from scratch on large-scale audio corpora and then trains both streams jointly on paired audio-video data while preserving unimodal fidelity; pretraining is followed by supervised fine-tuning, reinforcement-learning-based post-training, and distillation. In side-by-side human evaluation, Kandinsky 6.0 Video Pro clearly outperforms its predecessor, Kandinsky 5.0 Video Pro, and remains competitive with leading audio-video generation models, particularly in speech quality. To accelerate open research and deployment in multimedia generation, we release the code, model checkpoints, and diffusers integration under the MIT license.
• Abstract（参考訳）: Indinsky 6.0 Video, a family of foundation diffusion model for synchronized text-to-audio- Video generation, including Kandinsky 6.0 Video Lite (3B parameters) and Kandinsky 6.0 Video Pro (29B parameters)。 どちらのモデルも、リップシンク(英語版)を含む44kHzのオーディオを同期した5秒のビデオクリップを生成し、テキスト・トゥ・オーディオ・ビデオ(英語版) (T2AV) とイメージ・トゥ・オーディオ・ビデオ(英語版) (I2AV) モードで出力をフルHD (1920$\times$1080) に高める。 Kandinsky 5.0 のビデオ生成機能をベースにした Kandinsky 6.0 Video では,事前トレーニングされたビデオストリームと,双方向のクロスアテンションによる時間的およびセマンティックアライメントを通じて新たにトレーニングされたオーディオストリームを接続する,デュアルストリームの CrossDiT アーキテクチャを採用している。 我々の継続事前学習戦略は、まず大規模なオーディオコーパスでスクラッチからオーディオストリームをトレーニングし、その後、ペア化されたオーディオビデオデータで共同でストリームをトレーニングし、一方の忠実さを保ちながら、両方のストリームをトレーニングします。 人による評価では、Kandinsky 6.0 Video Proは前作のKandinsky 5.0 Video Proより明らかに優れており、特に音声品質において主要なオーディオビデオ生成モデルと競合している。 マルチメディア生成におけるオープンな研究と展開を加速するため、私たちはMITライセンス下でコード、モデルチェックポイント、ディフューザの統合をリリースします。

関連論文リスト

• DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution [16.570672947240855]
  7Bジェネレータをベースとしたコンパクトなジョイントビデオ生成システムであるDreamX-Creator 1.0について述べる。 統合されたオーディオビデオデータシステムは、時間的に一貫性のあるクリップを構築し、フィルタし、構造化されたマルチモーダルアノテーションを生成し、クリップを機能指向のデータプールに整理する。 高分解能出力のために、我々のAutoregressive 1-Step 2K Refinement Pipelineは、双方向多段階教師を自動回帰多段階精錬器に適応させる。
  論文  参考訳（メタデータ） (2026-08-31T17:11:05Z)
• CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation [107.75241387090271]
  大規模かつオープンなText-to-Audio-VideoデータセットであるCineDance-1Mを紹介する。 平均92.8秒と24.2秒の連続撮影を行い、オーディオとビデオの両方のアノテーションを提供する。 包括的評価のために,多様なプロンプトスイートと6次元の人間対応計量システムを備えたCineBenchを提案する。
  論文  参考訳（メタデータ） (2026-06-08T15:35:51Z)
• Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model [52.79436545460808]
  本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。 DaVinci-MagiHumanは、単一ストリームトランスフォーマーを使用して、同期ビデオとオーディオを共同で生成する。 中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
  論文  参考訳（メタデータ） (2026-03-23T13:49:06Z)
• ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
  ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。 音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。 ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-02-09T14:06:03Z)
• TalkVerse: Democratizing Minute-Long Audio-Driven Video Generation [45.08904139559434]
  本研究では,音声駆動音声ビデオ生成のための大規模オープンコーパスであるTalkVerseを紹介する。 TalkVerseは230万の高解像度(720p/1080p)のオーディオビデオ同期クリップを提供する。 これらは透明なパイプラインを通じて60k時間以上のビデオから収集される。
  論文  参考訳（メタデータ） (2025-12-16T22:01:08Z)
• Kandinsky 5.0: A Family of Foundation Models for Image and Video Generation [26.79165800182071]
  Kandinsky 5.0は、高解像度画像と10秒のビデオ合成のための最先端の基礎モデルのファミリーである。 フレームワークは、Kandinsky 5.0 Image Lite、Kandinsky 5.0 Video Lite、Kandinsky 5.0 Video Proの3つのコアラインアップで構成されている。
  論文  参考訳（メタデータ） (2025-11-19T00:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。