論文の概要: EditStream: A Unified Autoregressive Framework for Interactive Video Generation and Editing
- arxiv url: http://arxiv.org/abs/2608.21424v1
- Date: Sun, 16 Aug 2026 07:27:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.899471
- Title: EditStream: A Unified Autoregressive Framework for Interactive Video Generation and Editing
- Title（参考訳）: EditStream:インタラクティブなビデオ生成と編集のための統合された自動回帰フレームワーク
- Abstract要約: EditStreamはインタラクティブなビデオ生成と編集のための統合されたフレームワークである。
複数のビデオ作成と操作タスクを単一のDiTベースのモデルに統合する。
Text-to-Video、Image-to-Video、Video-to-Video、Editing propagation、Reference-guided Video Editing、Camera Pose Changeをサポートする。
- 参考スコア（独自算出の注目度）: 67.99022753510475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive video generation and editing are becoming increasingly important for creative design. In this report, we introduce EditStream: a unified framework for interactive video generation and editing. EditStream unifies multiple video creation and manipulation tasks within a single DiT-based model through flexible task-specific conditioning, and further transforms it into a fast, few-step autoregressive model for efficient streaming. It supports Text-to-Video, Image-to-Video, Video-to-Video, Editing Propagation, Reference-guided Video Editing, and Camera Pose Change, enabling flexible control over video generation, transformation, and editing within one system. To make the unified model practical for interactive use, we develop a two-stage distillation approach that combines Velocity Moment Matching (VMM) with autoregressive unrolling. VMM matches conditional velocity moments at student-reached intermediate states to preserve generation quality and motion, while unrolling exposes the student to its own autoregressive predictions to improve temporal stability. Together, they alleviate common challenges in few-step autoregressive video generation, including over-saturation, degraded motion, temporal instability, and complex training. EditStream provides a practical and scalable solution that bridges high-quality diffusion-based video models with interactive creative workflows.
- Abstract（参考訳）: インタラクティブなビデオ生成と編集は、クリエイティブデザインにとってますます重要になっている。
本稿では,インタラクティブなビデオ生成と編集のための統合フレームワークEditStreamを紹介する。
EditStreamは、フレキシブルなタスク固有の条件付けを通じて、単一のDiTベースのモデル内の複数のビデオ生成と操作タスクを統一し、さらに効率的なストリーミングのために、高速で数ステップの自己回帰モデルに変換する。
Text-to-Video, Image-to-Video, Video-to-Video, Editing Propagation, Reference-guided Video Editing, Camera Pose Changeをサポートする。
そこで本研究では,VMM (Velocity Moment Matching) と自動回帰アンローリングを組み合わせた2段階蒸留法を開発した。
VMMは、学生が設定した中間状態の条件付速度モーメントと一致し、生成品質と動きを保ち、一方、アンローリングは、時間的安定性を改善するために、生徒を自身の自己回帰予測に露出させる。
同時に、過飽和、劣化した動き、時間的不安定性、複雑なトレーニングを含む、数ステップの自己回帰ビデオ生成における共通の課題を軽減する。
EditStreamは、インタラクティブなクリエイティブワークフローで高品質な拡散ベースのビデオモデルをブリッジする実用的でスケーラブルなソリューションを提供する。
関連論文リスト
- EditaLive! Unified Character Video Editing for Live Streaming [59.93029261408041]
EditaLiveはリアルタイム・ストリーミング・キャラクタ・ビデオ編集のための新しいフレームワークである。
表情の忠実な保存と低遅延リアルタイムストリーミング推論を備えた最先端の編集性能を提供する。
論文 参考訳（メタデータ） (2026-08-27T13:37:45Z) - SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。
まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。
第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
論文 参考訳（メタデータ） (2026-03-19T17:59:51Z) - Versatile Editing of Video Content, Actions, and Dynamics without Training [57.167192591765456]
我々はDynaEditを紹介した。DynaEditは、事前訓練されたテキスト・ツー・ビデオ・フローモデルを用いて、多目的なビデオ編集機能を解放する訓練不要の編集方法である。
そこで,DynaEditは複雑なテキストベースのビデオ編集タスクにおいて,アクションの変更,シーンと対話するオブジェクトの挿入,グローバルな効果の導入など,最先端の成果を達成していることを示す。
論文 参考訳（メタデータ） (2026-03-18T17:50:56Z) - EditVerse: Unifying Image and Video Editing and Generation with In-Context Learning [58.53074381801114]
イメージとビデオの生成と編集を単一のモデルで統合したフレームワークであるEditVerseを紹介する。
テキスト、画像、ビデオなどのすべてのモダリティを統一されたトークンシーケンスとして表現することで、EditVerseは、堅牢なインコンテキスト学習を実現するために自己アテンションを活用する。
多様なタスクや解像度をカバーする命令ベースのビデオ編集のための最初のベンチマークであるEditVerseBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T17:59:30Z) - Edit as You See: Image-guided Video Editing via Masked Motion Modeling [18.89936405508778]
画像誘導映像編集拡散モデル(IVEDiff)を提案する。
IVEDiffは画像編集モデル上に構築されており、ビデオ編集の時間的一貫性を維持するための学習可能なモーションモジュールを備えている。
本手法は,高画質な編集対象を忠実に処理しながら,時間的にスムーズな編集映像を生成することができる。
論文 参考訳（メタデータ） (2025-01-08T07:52:12Z) - I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。
I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
論文 参考訳（メタデータ） (2024-05-26T11:47:40Z) - FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing [8.907836546058086]
既存のビデオ編集における画像生成モデルへのアプローチは、ワンショットの微調整、追加条件抽出、DDIMの逆変換といった時間を要する。
我々は、一貫性モデル(CM)にインスパイアされた効率的なゼロショットビデオ編集手法であるFastVideoEditを提案する。
本手法は,特別な分散スケジュールを用いて,ソース映像からターゲット映像への直接マッピングを可能にする。
論文 参考訳（メタデータ） (2024-03-10T17:12:01Z) - InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。
我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
論文 参考訳（メタデータ） (2023-05-21T03:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。