論文の概要: Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation

• arxiv url: http://arxiv.org/abs/2610.19290v1
• Date: Tue, 13 Oct 2026 23:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.842973
• Title: Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation
• Title（参考訳）: Kandinsky S2V 1.0:オーディオ駆動アバタービデオ生成
• Abstract要約: Kandinsky S2V 1.0は、制御可能な音声駆動人間アニメーションのための音声対ビデオモデルのオープンファミリーである。 単一の参照画像、音声波形、テキストプロンプトから、モデルは、唇の動き、表情、ポーズ、ジェスチャーが音声に従う長い25FPSビデオを生成する。
• 参考スコア（独自算出の注目度）: 1.9342239452969698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Kandinsky S2V 1.0, an open family of speech-to-video models for controllable audio-driven human animation, comprising Kandinsky S2V 1.0 Lite (2B parameters) and Kandinsky S2V 1.0 Pro (21B parameters). From a single reference image, a speech waveform, and a text prompt, the models generate long-form 25 FPS video in which lip motion, expression, pose, and gesture follow the speech. The architecture draws text and audio conditioning from one Qwen2.5-Omni model and adds a reference-aware three-scale visual memory. Training starts from the Kandinsky 5.0 Video foundation models [1] and combines mixed reference-memory layouts with an area-adaptive face loss. The training corpus contains 1.17M single-speaker clips selected by active-speaker detection, with captions generated directly in English and Russian. A side-by-side human evaluation against the strongest open-source baseline and two proprietary commercial models shows that Kandinsky S2V 1.0 Pro performs comparably to or better than these models on average and is also preferred for lip synchronization. On common speech to video benchmarks, Kandinsky S2V 1.0 Lite and Kandinsky S2V 1.0 Pro rank among the top performing models according to mean rank over five reported metrics. Beyond the base models, we provide π-Flow distilled variants of both Kandinsky S2V 1.0 Lite and Kandinsky S2V 1.0 Pro. The distilled Kandinsky S2V 1.0 Pro model generates video in 16 sampling steps without classifier-free guidance, achieving a 5.4 times end-to-end speedup over the base model, while matching or exceeding it on nearly all reported benchmark metrics. To accelerate open research and deployment in speech-to-video generation, we release the code, model checkpoints, and diffusers integration under the MIT license.
• Abstract（参考訳）: Indinsky S2V 1.0, an open family of speech-to-video models for controllable audio-driven human animation, including Kandinsky S2V 1.0 Lite (2B parameters) and Kandinsky S2V 1.0 Pro (21B parameters)。 単一の参照画像、音声波形、テキストプロンプトから、モデルは、唇の動き、表情、ポーズ、ジェスチャーが音声に従う長い25FPSビデオを生成する。 このアーキテクチャは、あるQwen2.5-Omniモデルからテキストとオーディオ条件を抽出し、参照対応の3スケールビジュアルメモリを追加する。 トレーニングは Kandinsky 5.0 Video foundation model [1] から始まり、混合参照メモリレイアウトと領域適応型顔損失を組み合わせた。 トレーニングコーパスには、アクティブスピーカー検出によって選択された1.17万個のシングルスピーカークリップが含まれており、キャプションは英語とロシア語で直接生成される。 最強のオープンソースベースラインと2つのプロプライエタリな商用モデルに対するサイドバイサイドの人的評価は、Kandinsky S2V 1.0 Proがこれらのモデルと平均的に同等かそれ以上に動作し、リップ同期にも好適であることを示している。 一般的なビデオベンチマークでは、Kandinsky S2V 1.0 LiteとKandinsky S2V 1.0 Proが、報告された5つの指標の平均的なランクに従って上位にランクされている。 基本モデル以外にも、 Kandinsky S2V 1.0 Lite と Kandinsky S2V 1.0 Pro のπ-Flow蒸留変種を提供する。 蒸留したカンディンスキー S2V 1.0 Pro モデルは16段階のサンプリングを無分類で生成し、ベースモデルの5.4倍のエンドツーエンドのスピードアップを実現した。 音声対ビデオ生成におけるオープンな研究と展開を加速するため、我々はMITライセンス下でコード、モデルチェックポイント、ディフューザの統合をリリースする。

関連論文リスト

• Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation [125.33885207146083]
  我々は、シンクロナイズドテキスト・オーディオ・ビデオ生成のための基礎拡散モデルであるKandinsky 6.0 Videoを紹介する。 どちらのモデルも、テキスト・トゥ・オーディオ・ビデオ(T2AV)と画像・トゥ・オーディオ・ビデオ(I2AV)モードで、44kHzのオーディオを同期した5秒のビデオクリップを生成する。 内蔵超解像モデルによる出力分解能のフルHD化(1920$times$1080)
  論文  参考訳（メタデータ） (2026-10-04T23:19:20Z)
• JuZhou 1.0 Technical Report: The First Edge-Native Text-to-Image Foundation Model Trained Entirely on China-Developed AI Accelerators [82.160839154214]
  テキスト・ツー・イメージ(T2I)拡散モデルは通常、かなりの計算資源とクラウドインフラを必要とする。 We present JuZhou 1.0, a Ultra-lightweight T2I foundation model designed for complete offline, on-device execution。
  論文  参考訳（メタデータ） (2026-06-25T17:14:03Z)
• Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model [52.79436545460808]
  本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。 DaVinci-MagiHumanは、単一ストリームトランスフォーマーを使用して、同期ビデオとオーディオを共同で生成する。 中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
  論文  参考訳（メタデータ） (2026-03-23T13:49:06Z)
• Seedance 1.5 pro: A Native Audio-Visual Joint Generation Foundation Model [163.56671779593736]
  Seedance 1.5 Proは、ネイティブのジョイントオーディオビデオ生成用に特別に設計された基礎モデルである。 Seedance 1.5 Proは、正確な多言語と方言のリップシンク、ダイナミックシネマカメラコントロール、物語のコヒーレンスの向上を通じて、自分自身を区別する。
  論文  参考訳（メタデータ） (2025-12-15T16:36:52Z)
• Kandinsky 5.0: A Family of Foundation Models for Image and Video Generation [26.79165800182071]
  Kandinsky 5.0は、高解像度画像と10秒のビデオ合成のための最先端の基礎モデルのファミリーである。 フレームワークは、Kandinsky 5.0 Image Lite、Kandinsky 5.0 Video Lite、Kandinsky 5.0 Video Proの3つのコアラインアップで構成されている。
  論文  参考訳（メタデータ） (2025-11-19T00:23:22Z)
• Kandinsky 3.0 Technical Report [4.146868353199492]
  本稿では,遅延拡散に基づく大規模テキスト・画像生成モデルであるKandinsky 3.0を提案する。 本稿では,モデルのアーキテクチャ,データ収集手順,トレーニング手法,ユーザインタラクションのための生産システムについて述べる。 また、スーパー解像度、塗装、画像編集、画像から映像への生成など、我々のモデルの拡張や応用についても述べる。
  論文  参考訳（メタデータ） (2023-12-06T14:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。