論文の概要: LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing
- arxiv url: http://arxiv.org/abs/2606.26740v1
- Date: Thu, 25 Jun 2026 08:24:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.214775
- Title: LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing
- Title（参考訳）: LiveEdit: リアルタイム拡散ベースのストリーミングビデオ編集を目指す
- Abstract要約: 本稿では,強力なコンテンツ保存とリアルタイム応答性を備えた因果的フレーム・バイ・フレーム編集を行う新しいストリーミングビデオ編集フレームワークを提案する。
提案手法は,12.66FPSまでの推論速度を劇的に向上させながら,ストリーミングベースライン間の最先端の視覚的品質を実現する。
- 参考スコア（独自算出の注目度）: 19.90420626930003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.
- Abstract（参考訳）: ストリーミングビデオ編集は急速に進歩しているが、安定したバックグラウンドと非編集領域を時間とともに維持すること、リアルタイムのインタラクティブシナリオに必要な低レイテンシを実現すること、という2つの主要な問題によって、実用的デプロイメントは依然として制限されている。
一方、最近のストリーミングビデオ生成法は、主に合成のために開発されており、厳密な保存要件と地域固有の制御のため、編集に直接適用できない。
本研究では,強力なコンテンツ保存とリアルタイム応答性を備えた因果的フレーム・バイ・フレーム編集を行う新しい動画編集フレームワークを提案する。
キーとなる設計は、3段階の蒸留パイプラインであり、強力な双方向基礎モデルから効率的な一方向ストリーミングエディタに徐々に編集能力を移行し、視覚的忠実さを犠牲にすることなく安定した長水平編集を可能にする。
リアルタイム展開をさらに支援するために,フレーム間の領域関係計算を再利用し,冗長処理を大幅に削減し,推論を高速化するAR指向マスクキャッシュを導入する。
最後に,ストリーミングビデオ編集のための専用ベンチマークを構築した。
広汎な評価により,ストリーミングベースライン間の最先端の視覚的品質を実現するとともに,推論速度を12.66 FPSに劇的に向上させ,対話型および拡張現実アプリケーションに適していることが示された。
関連論文リスト
- EditaLive! Unified Character Video Editing for Live Streaming [59.93029261408041]
EditaLiveはリアルタイム・ストリーミング・キャラクタ・ビデオ編集のための新しいフレームワークである。
表情の忠実な保存と低遅延リアルタイムストリーミング推論を備えた最先端の編集性能を提供する。
論文 参考訳（メタデータ） (2026-08-27T13:37:45Z) - EditStream: A Unified Autoregressive Framework for Interactive Video Generation and Editing [67.99022753510475]
EditStreamはインタラクティブなビデオ生成と編集のための統合されたフレームワークである。
複数のビデオ作成と操作タスクを単一のDiTベースのモデルに統合する。
Text-to-Video、Image-to-Video、Video-to-Video、Editing propagation、Reference-guided Video Editing、Camera Pose Changeをサポートする。
論文 参考訳（メタデータ） (2026-08-16T07:27:18Z) - SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。
まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。
第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
論文 参考訳（メタデータ） (2026-03-19T17:59:51Z) - VRWKV-Editor: Reducing quadratic complexity in transformer-based video editing [0.13381749415517016]
ビデオベース拡散モデルに線形時間アグリゲーションモジュールを統合する新しいビデオ編集モデルであるVRWKV-Editorを導入する。
VRWKV-Editorは、最先端の拡散ベースのビデオ編集方法と比較して最大3.7倍のスピードアップと60%のメモリ使用率を達成する。
論文 参考訳（メタデータ） (2025-09-30T09:30:23Z) - FlowDirector: Training-Free Flow Steering for Precise Text-to-Video Editing [2.7248421583285265]
FlowDirectorは、新しいインバージョンフリーのビデオ編集フレームワークである。
我々のフレームワークは、編集プロセスをデータ空間の直接進化としてモデル化する。
局所的かつ制御可能な編集を実現するために,注意誘導型マスキング機構を導入する。
論文 参考訳（メタデータ） (2025-06-05T13:54:40Z) - VIA: Unified Spatiotemporal Video Adaptation Framework for Global and Local Video Editing [91.60658973688996]
我々は,グローバルなローカルビデオ編集のための統合ビデオ適応フレームワークであるVIAを導入し,一貫したビデオ編集の限界を推し進める。
本研究では,各フレーム内の局所的な一貫性を確保するため,事前学習した画像編集モデルに適応するテスト時間編集適応を設計した。
また,VIAは長時間の映像編集を一貫した時間で行うことができ,ビデオ編集作業が長続きする可能性を秘めていることを示す。
論文 参考訳（メタデータ） (2024-06-18T17:51:37Z) - COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing [57.76170824395532]
ビデオ編集は新たな課題であり、現在のほとんどの手法では、ソースビデオを編集するために、事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルを採用している。
我々は,高品質で一貫したビデオ編集を実現するために,COVE(Cor correspondingence-guided Video Editing)を提案する。
COVEは、追加のトレーニングや最適化を必要とせずに、事前訓練されたT2I拡散モデルにシームレスに統合することができる。
論文 参考訳（メタデータ） (2024-06-13T06:27:13Z) - Streaming Video Diffusion: Online Video Editing with Diffusion Models [30.55613486291111]
本稿では,時間的一貫性を維持しつつ,テキストストリームフレームを編集するオンラインビデオ編集という新しいタスクを提案する。
提案モデルでは,512×512の解像度で15.2FPSのリアルタイム推論速度を実現することにより,高画質動画の編集が可能となる。
論文 参考訳（メタデータ） (2024-05-30T06:16:33Z) - FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing [8.907836546058086]
既存のビデオ編集における画像生成モデルへのアプローチは、ワンショットの微調整、追加条件抽出、DDIMの逆変換といった時間を要する。
我々は、一貫性モデル(CM)にインスパイアされた効率的なゼロショットビデオ編集手法であるFastVideoEditを提案する。
本手法は,特別な分散スケジュールを用いて,ソース映像からターゲット映像への直接マッピングを可能にする。
論文 参考訳（メタデータ） (2024-03-10T17:12:01Z) - Object-Centric Diffusion for Efficient Video Editing [64.71639719352636]
拡散ベースのビデオ編集は素晴らしい品質に達している。
このようなソリューションは通常、時間的に整合性のあるフレームを生成するために重いメモリと計算コストを発生させる。
品質を維持しつつ、大幅なスピードアップを可能にする修正を提案する。
論文 参考訳（メタデータ） (2024-01-11T08:36:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。