論文の概要: Vidu S1: A Real-Time Interactive Video Generation Model
- arxiv url: http://arxiv.org/abs/2607.03118v1
- Date: Fri, 03 Jul 2026 08:58:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.525725
- Title: Vidu S1: A Real-Time Interactive Video Generation Model
- Title（参考訳）: Vidu S1:リアルタイムインタラクティブビデオ生成モデル
- Abstract要約: Vidu S1は、デジタル文字の音声制御をサポートするリアルタイムインタラクティブビデオ生成モデルである。
ユーザは音声による指示で、いつでもビデオ生成コンテンツをコントロールできる。
TurboDiffusionとTurboServeで構築されたVidu S1は、通常のGPU上で最大42FPSで540pのリアルタイムビデオを出力する。
- 参考スコア（独自算出の注目度）: 71.6354028517889
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Vidu S1, a real-time interactive video generation model supporting voice control of digital characters. Users can control video generation content at any moment through voice instructions. Vidu S1 supports infinite-length real-time video generation without blurring, drift, or visual distortion. Built with TurboDiffusion and TurboServe, Vidu S1 outputs 540p real-time videos at up to 42 FPS on regular consumer GPUs. Users can upload custom images of real people, anime, and pets, and choose different voice tones for personalized experiences. Experiments show that Vidu S1 achieves the best performance across all test metrics while fully meeting real-time inference requirements. A playable online demo is available at https://vidu.com/vidu-stream.
- Abstract（参考訳）: 本稿では,デジタル文字の音声制御をサポートするリアルタイム対話型ビデオ生成モデルVidu S1を紹介する。
ユーザは音声による指示で、いつでもビデオ生成コンテンツをコントロールできる。
Vidu S1は、ぼやけたり、ドリフトしたり、あるいは視覚的に歪んだりすることなく、無限長のリアルタイムビデオ生成をサポートする。
TurboDiffusionとTurboServeで構築されたVidu S1は、通常のGPU上で最大42FPSで540pのリアルタイムビデオを出力する。
ユーザーは、実際の人、アニメ、ペットのカスタムイメージをアップロードし、パーソナライズされた体験のために異なる音声トーンを選択することができる。
実験によると、Vidu S1は、リアルタイムの推論要求を完全に満たしながら、すべてのテストメトリクスで最高のパフォーマンスを達成する。
プレイ可能なオンラインデモはhttps://vidu.com/vidu-stream.comで公開されている。
関連論文リスト
- Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation [67.35470617562221]
Vidu S2はリアルタイムインタラクティブデジタルキャラクタモデルであるVidu S2-Avatarと、リアルタイムビデオ編集モデルであるVidu S2-Editingで構成されている。
Vidu S1と比較すると、Vidu S2-Avatarはリアルタイム720pビデオ生成をサポートし、いつでも更新できる動的な参照を持つ生成をサポートし、ダンスのような強い指示に従うことができる。
論文 参考訳（メタデータ） (2026-09-10T14:46:07Z) - Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds [60.18437892555415]
本稿では,2つの目的を持ったオーディオ視覚生成システムであるJoyAI-Echo-1.5を提案する。
この長ビデオ版では、コンポーザブルなクロスショットメモリが導入され、複数の先行ショットと、音声フィルタリングされたフルショットオーディオから派生した話者キューに視覚的エビデンスを集約する。
世界モデルの変種は、不均一なナビゲーション入力を校正されたメートル法6-DoFカメラ軌跡に変換し、幾何学的条件付け経路を介してそれらを注入する。
論文 参考訳（メタデータ） (2026-08-24T15:31:12Z) - Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Visual Avatar Generation [26.625772912688387]
我々はOmni-LiveAvatarについて紹介する。Omni-LiveAvatarは、マイクロレベル、リアルタイムストリーミング共同オーディオビデオアバター生成のための最初のフレームワークである。
実験により、Omni-LiveAvatarは高品質で同期された微小なアバターをリアルタイムで生成することが示された。
論文 参考訳（メタデータ） (2026-08-07T15:34:15Z) - ALIVE: Animate Your World with Lifelike Audio-Video Generation [50.693986608051716]
ALIVEは、Soraスタイルのオーディオビデオ生成とアニメーションに事前訓練されたテキスト・トゥ・ビデオ(T2V)モデルを適用する世代モデルである。
音声-視覚同期と参照アニメーションをサポートするため,共用音声-ビデオブランチによるMMDiTアーキテクチャの強化を行った。
ALIVEは優れたパフォーマンスを示し、一貫してオープンソースモデルを上回り、最先端の商用ソリューションにマッチするか、超えている。
論文 参考訳（メタデータ） (2026-02-09T14:06:03Z) - VideoPanda: Video Panoramic Diffusion with Multi-view Attention [57.87428280844657]
高解像度パノラマビデオコンテンツはバーチャルリアリティーの没入体験にとって最重要であるが、特殊な機器や複雑なカメラのセットアップを必要とするため、収集は容易ではない。
VideoPandaは、既存の方法と比較して、すべての入力条件に対してよりリアルでコヒーレントな360$のパノラマを生成する。
論文 参考訳（メタデータ） (2025-04-15T16:58:15Z) - REDUCIO! Generating 1K Video within 16 Seconds using Extremely Compressed Motion Latents [110.41795676048835]
大規模アプリケーションにとって重要な障害のひとつは、高価なトレーニングと推論コストである。
我々は、ビデオには画像よりもはるかに冗長な情報が含まれており、非常に少ない動きでエンコードできると主張している。
我々は、映像を非常に圧縮された潜在空間に投影する画像条件付きVAEを設計し、コンテンツ画像に基づいてデコードする。
論文 参考訳（メタデータ） (2024-11-20T18:59:52Z) - ViBe: A Text-to-Video Benchmark for Evaluating Hallucination in Large Multimodal Models [13.04745908368858]
オープンソースT2Vモデルによる幻覚映像の大規模データセットであるViBeを紹介する。
10種類のT2Vモデルを用いて、837のMSキャプションから3,782本の動画を手動で作成した。
提案するベンチマークには、幻覚映像のデータセットと、ビデオ埋め込みを用いた分類フレームワークが含まれる。
論文 参考訳（メタデータ） (2024-11-16T19:23:12Z) - Vidu: a Highly Consistent, Dynamic and Skilled Text-to-Video Generator with Diffusion Models [26.494568142820775]
Viduはテキストからビデオまでのジェネレータで、1世代で最大16秒間1080pのビデオを生成することができる。
ヴィドゥは強いコヒーレンスとダイナミズムを示し、現実的なビデオと想像的なビデオの両方を生成できる。
論文 参考訳（メタデータ） (2024-05-07T11:52:49Z) - VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time [35.43018966749148]
静止画像と音声音声クリップを1つずつ与えることで,視覚的情緒的スキル(VAS)をアピールするライフライクな発話顔を生成するためのフレームワークであるVASAを紹介した。
VASA-1は、音声と精巧に同期する唇の動きを発生させるだけでなく、顔のニュアンスや自然な頭部の動きを生じさせる。
論文 参考訳（メタデータ） (2024-04-16T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。