論文の概要: Streaming Video Editing with Easy Adaptation

• arxiv url: http://arxiv.org/abs/2609.24788v1
• Date: Mon, 21 Sep 2026 15:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.362705
• Title: Streaming Video Editing with Easy Adaptation
• Title（参考訳）: 簡単な適応による動画編集
• Abstract要約: 自動回帰方式で高品質なストリーミングビデオ編集をサポートするSVEETを提案する。 双方向モデルとストリーミングモデルの特徴空間の相違を補うために,分離学習方式を提案する。 実験により、SVEETは、リアルタイム性能を維持しながら、優れた編集品質を実現することが示された。
• 参考スコア（独自算出の注目度）: 40.353486276110985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose SVEET, a framework that requires merely training on a pretrained bidirectional video diffusion model but supports high-quality streaming video editing in an auto-regressive fashion. To tackle this problem, we first systematically revisit existing video-to-video diffusion approaches and identify two key principles for such streaming adaptation: backbone feature disentanglement and conditional frame independence. Building on these insights, we develop a novel paradigm for controllable video generation. At its core, an auxiliary model branch encodes source video inputs with temporally independent self-attention, and the intermediate features are injected into the corresponding backbone blocks for streaming-compatible control. Moreover, to bridge the discrepancy between the feature spaces of bidirectional and streaming models, we propose a decoupled training scheme that explicitly enforces the orthogonality between the optimization directions of video controllability and model causality. Such disentanglement ensures compatibility between the two objectives at inference and facilitates smooth zero-shot knowledge transfer across heterogeneous backbone architectures. Extensive experiments demonstrate that SVEET achieves superior editing quality while maintaining real-time performance, attaining 15 FPS on a single H100 GPU 17 without any auxiliary acceleration techniques. Codes are available at https://github.com/YujiaHu1109/SVEET.
• Abstract（参考訳）: 本稿では,事前訓練された双方向ビデオ拡散モデルのトレーニングのみを必要とするフレームワークであるSVEETを提案する。 この問題に対処するために、我々はまず既存のビデオ間拡散アプローチを体系的に再検討し、ストリーミング適応の鍵となる2つの原則、すなわちバックボーン特徴のゆがみと条件付きフレームの独立性を特定する。 これらの知見に基づいて、制御可能なビデオ生成のための新しいパラダイムを開発する。 その中核には、補助モデルブランチが時間的に独立な自己アテンションでソースビデオ入力を符号化し、中間機能を対応するバックボーンブロックに注入してストリーミング互換制御を行う。 さらに,双方向モデルとストリーミングモデルの特徴空間間の相違を補うために,ビデオ制御可能性の最適化方向とモデル因果関係との直交性を明確に強制する分離学習手法を提案する。 このような絡み合いは、推論時の2つの目的間の互換性を保証し、異種バックボーンアーキテクチャ間のスムーズなゼロショット知識伝達を容易にする。 大規模な実験により、SVEETはリアルタイム性能を維持しながら優れた編集品質を実現し、1つのH100 GPU 17上で15 FPSを補助加速度技術なしで達成できることが示された。 コードはhttps://github.com/YujiaHu1109/SVEETで入手できる。

関連論文リスト

• Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction [12.736570247861309]
  長ビデオ推論のための学習自由層適応フレームワークFreeLOCを提案する。 提案手法は, 時間的整合性と視覚的品質の両面において, 既存のトレーニング不要の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-26T09:12:14Z)
• CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion [62.04833878126661]
  統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。 CtrlVDiffは、Hybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルであり、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴を導出し、融合する。 理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。
  論文  参考訳（メタデータ） (2025-11-26T07:27:11Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)
• COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing [57.76170824395532]
  ビデオ編集は新たな課題であり、現在のほとんどの手法では、ソースビデオを編集するために、事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルを採用している。 我々は,高品質で一貫したビデオ編集を実現するために,COVE(Cor correspondingence-guided Video Editing)を提案する。 COVEは、追加のトレーニングや最適化を必要とせずに、事前訓練されたT2I拡散モデルにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2024-06-13T06:27:13Z)
• Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。 既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。 テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
  論文  参考訳（メタデータ） (2023-06-24T10:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。