論文の概要: Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation
- arxiv url: http://arxiv.org/abs/2609.11638v1
- Date: Thu, 10 Sep 2026 14:46:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.404928
- Title: Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation
- Title（参考訳）: Vidu S2:リアルタイムインタラクティブ、編集可能、空間ビデオ生成
- Abstract要約: Vidu S2はリアルタイムインタラクティブデジタルキャラクタモデルであるVidu S2-Avatarと、リアルタイムビデオ編集モデルであるVidu S2-Editingで構成されている。
Vidu S1と比較すると、Vidu S2-Avatarはリアルタイム720pビデオ生成をサポートし、いつでも更新できる動的な参照を持つ生成をサポートし、ダンスのような強い指示に従うことができる。
- 参考スコア（独自算出の注目度）: 67.35470617562221
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Vidu S2, which comprises Vidu S2-Avatar, a real-time interactive digital-character model, and Vidu S2-Editing, a real-time video editing model. Moreover, we explore the feasibility of real-time spatial video generation for both Vidu S2-Avatar and Vidu S2-Editing. Compared with Vidu S1, Vidu S2-Avatar supports real-time 720p video generation, generation with dynamic references that can be updated at any moment, and stronger instruction following, such as dancing. Vidu S2-Editing supports editing a video stream in real time, including style rendering, clothing replacement, character replacement, and background replacement. Experiments show that Vidu S2 outperforms all baselines. A playable online demo is available at https://vidu.com/vidu-stream.
- Abstract（参考訳）: 本稿では、リアルタイムインタラクティブデジタルキャラクタモデルであるVidu S2-Avatarと、リアルタイムビデオ編集モデルであるVidu S2-Editingを組み合わせたVidu S2を提案する。
さらに,Vidu S2-AvatarとVidu S2-Editingの両方に対して,リアルタイムな空間ビデオ生成の実現可能性について検討する。
Vidu S1と比較すると、Vidu S2-Avatarはリアルタイム720pビデオ生成をサポートし、いつでも更新できる動的な参照を持つ生成をサポートし、ダンスのような強い指示に従うことができる。
Vidu S2-Editingは、スタイルレンダリング、衣料品交換、文字置換、バックグラウンド置換など、ビデオストリームの編集をリアルタイムでサポートする。
実験の結果、Vidu S2はすべてのベースラインより優れていた。
プレイ可能なオンラインデモはhttps://vidu.com/vidu-stream.comで公開されている。
関連論文リスト
- Vidu S1: A Real-Time Interactive Video Generation Model [71.6354028517889]
Vidu S1は、デジタル文字の音声制御をサポートするリアルタイムインタラクティブビデオ生成モデルである。
ユーザは音声による指示で、いつでもビデオ生成コンテンツをコントロールできる。
TurboDiffusionとTurboServeで構築されたVidu S1は、通常のGPU上で最大42FPSで540pのリアルタイムビデオを出力する。
論文 参考訳（メタデータ） (2026-07-03T08:58:06Z) - TeleStyle V2: Beyond Content-Preserving Style Transfer with Self-Distillation and Distribution-Matching-Distillation [54.141830240935455]
コンテンツ参照とスタイル参照が与えられた場合、コンテンツ保存スタイル転送は、スタイル化された出力を生成するモデルを必要とする。
TeleStyle V1は、フォトリアリスティックなコンテンツ参照と芸術スタイル参照で訓練されている。
TeleStyle V2は、Realistic-and-Realistic(RnR)、Realistic-and-Stylized(RnS)、Stylized-and-Stylized(SnS)の形式でContent-Style参照をサポートする。
論文 参考訳（メタデータ） (2026-06-16T10:45:33Z) - ViFeEdit: A Video-Free Tuner of Your Video Diffusion Transformer [74.61793196579036]
ビデオ拡散変換器用ビデオフリーチューニングフレームワークViFeEditを提案する。
ViFeEditは2D画像のみに適応した多用途のビデオ生成と編集を実現する。
本手法は,2次元画像データに対する最小限のトレーニングしか行わず,制御可能な映像生成と編集の有望な結果を提供する。
論文 参考訳（メタデータ） (2026-03-16T16:10:46Z) - FairyGen: Storied Cartoon Video from a Single Child-Drawn Character [15.701180508477679]
本研究では,一人の子どもの絵から物語駆動のマンガ映像を自動生成するFairyGenを提案する。
以前のストーリーテリング方法とは異なり、FairyGenはスタイル化された背景生成から文字モデリングを明示的に切り離している。
我々のシステムは、スタイリスティックに忠実で、物語的に構造化された自然運動のアニメーションを生成する。
論文 参考訳（メタデータ） (2025-06-26T13:58:16Z) - TALC: Time-Aligned Captions for Multi-Scene Text-to-Video Generation [72.25642183446102]
マルチシーンビデオを生成するためのシンプルで効果的なタイムアラインド・キャプション(TALC)フレームワークを提案する。
本稿では,T2Vモデルを用いて,マルチシーンのテキスト記述に準拠し,視覚的に一貫したマルチシーン映像を生成可能であることを示す。
論文 参考訳（メタデータ） (2024-05-07T21:52:39Z) - Vidu: a Highly Consistent, Dynamic and Skilled Text-to-Video Generator with Diffusion Models [26.494568142820775]
Viduはテキストからビデオまでのジェネレータで、1世代で最大16秒間1080pのビデオを生成することができる。
ヴィドゥは強いコヒーレンスとダイナミズムを示し、現実的なビデオと想像的なビデオの両方を生成できる。
論文 参考訳（メタデータ） (2024-05-07T11:52:49Z) - AnyV2V: A Tuning-Free Framework For Any Video-to-Video Editing Tasks [41.640692114423544]
我々はビデオ編集を簡単にするための新しいチューニング不要のパラダイムであるAnyV2Vを紹介する。
AnyV2Vは、既存の画像編集ツールを利用して、幅広いビデオ編集タスクをサポートすることができる。
評価の結果,AnyV2Vは他のベースライン法に匹敵するCLIPスコアが得られた。
論文 参考訳（メタデータ） (2024-03-21T15:15:00Z) - Neural Video Fields Editing [56.558490998753456]
NVEditは、メモリオーバーヘッドを軽減し、一貫性を向上させるために設計された、テキスト駆動のビデオ編集フレームワークである。
我々は、数百フレームの長いビデオのエンコーディングを可能にするために、三面体とスパースグリッドを用いたニューラルビデオフィールドを構築した。
次に、オフザシェルフテキスト・トゥ・イメージ(T2I)モデルを用いて、ビデオフィールドをテキスト駆動編集エフェクトに更新する。
論文 参考訳（メタデータ） (2023-12-12T14:48:48Z) - DragVideo: Interactive Drag-style Video Editing [58.59845960686982]
DragVideoはドラッグ・テンポラリなビデオ編集フレームワークだ。
動画を直感的で、ユーザの意図に忠実に編集し、ほとんど目立たない歪みやアーティファクトで、時間的一貫性を維持しながら編集することができる。
従来のプロンプトベースのビデオ編集では、前者の2つを行ない、画像ドラッグを直接適用することは最後に失敗するが、DragVideoの汎用性と汎用性が強調されている。
論文 参考訳（メタデータ） (2023-12-03T10:41:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。