論文の概要: StreamErase: Towards Ultra-Fast Streaming Video Erasing
- arxiv url: http://arxiv.org/abs/2610.20137v1
- Date: Wed, 14 Oct 2026 12:55:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.162209
- Title: StreamErase: Towards Ultra-Fast Streaming Video Erasing
- Title（参考訳）: StreamErase:超高速ストリーミングビデオ消去を目指す
- Abstract要約: 単一GPU上で最大26FPSのストリーミング生成が可能なサブ秒レイテンシを実現するStreamEraseを提案する。
提案手法はまず,マスク入力によるテキスト・ツー・ビデオモデルを拡張して,ターゲットオブジェクトを消去する高品質なビデオを生成する。
ロングビデオオブジェクトの削除をストリーミングするための専用ベンチマークであるLongEraseを構築した。
- 参考スコア（独自算出の注目度）: 12.314582275804767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current video object removal methods suffer from prohibitive latency (minutes per video) and non-causal processing that prevents real-time interaction. We present StreamErase, enabling sub-second latency with up to 26 FPS streaming generation on a single GPU. Our approach first augments a text-to-video model with mask input to generate high-quality videos that erase target objects and synthesize coherent backgrounds, but does not perform inference on the fly. As such, we progressively transfer the erasing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming eraser, enabling long-horizon erasing without sacrificing visual fidelity. Several key challenges arise when generating videos over long, potentially infinite horizons: (1) bridging the domain gap from training on finite length and extrapolating to long horizons, (2) sustaining high quality by preventing error accumulation, and (3) maintaining fast inference, without increasing computational cost as the context grows. To address these challenges, we carefully designed sliding-window causal attention with attention sinks. By incorporating self-rollout with attention sinks and KV cache rolling during training, we simulate inference-time extrapolations with a fixed context window, enabling constant-speed generation of arbitrarily long videos. Finally, we establish a dedicated benchmark, LongErase, for streaming long-video object removal. Our model achieves strong performance compared to existing video object erasing models and generalizes well to real-world video scenarios, uniquely enabling infinite-length streaming. With StreamErase, users can input a mask and see the erasing results unfold in real-time, delivering a truly interactive experience.
- Abstract（参考訳）: 現在のビデオオブジェクト除去法は、リアルタイムのインタラクションを阻止する禁断のレイテンシ(ビデオ毎分)と非因果処理に悩まされている。
単一GPU上で最大26FPSのストリーミング生成が可能なサブ秒レイテンシを実現するStreamEraseを提案する。
提案手法は,まずマスク入力によるテキスト・ツー・ビデオモデルを拡張し,ターゲットオブジェクトを消去し,コヒーレントな背景を合成する高品質なビデオを生成する。
そこで我々は,強力な双方向基盤モデルから効率的な一方向ストリーミング消去器へ段階的に消去能力を移行し,視覚的忠実さを犠牲にすることなく,長い水平消去を可能にする。
1)有限長でのトレーニングから長い地平線への外挿までドメインギャップを埋めること、(2)エラーの蓄積を防止して高品質を維持すること、(3)文脈が大きくなるにつれて計算コストを増大させることなく高速な推論を維持すること、である。
これらの課題に対処するため,我々はスライディングウインドウの因果注意を注意シンクで慎重に設計した。
トレーニング中の自己ロールアウトとアテンションシンクとKVキャッシュローリングを組み込むことで、固定されたコンテキストウィンドウで推論時間外挿をシミュレートし、任意長ビデオの一定速度生成を可能にする。
最後に、長ビデオオブジェクトの削除をストリーミングするための専用ベンチマークであるLongEraseを構築します。
本モデルは,既存の映像オブジェクト消去モデルと比較して高い性能を達成し,無限長のストリーミングが可能な実世界の映像シナリオを一般化する。
StreamEraseを使えば、ユーザーはマスクを入力してリアルタイムで消去結果を見ることができる。
関連論文リスト
- Towards Error-Free Long Video Generation [56.86952045212838]
本稿では,高品質でダイナミックでアイデンティティに一貫性のある単一ショット長ビデオを生成する,無限長のビデオ生成フレームワークを提案する。
まず,大規模なショートビデオデータに基づいて拡散モデルをビデオ拡張モデルとして微調整し,時間的コヒーレントなクリップを自動的に生成する。
我々のフレームワークは、リアルでコヒーレントな微小レベルのビデオ合成のための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2026-06-21T07:39:37Z) - LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams [59.485485426790966]
このLiveStarProは、長時間のストリーミング上でのプロアクティブなビデオ理解のために設計されたライブストリーミングアシスタントである。
LiveStarProは既存のメソッドを一貫して上回り、セマンティックな正確性は28.9%向上した。
そのストリーミングキーバリューキャッシュは、キャッシュなしで同じモデル上で1.58倍の推論速度を得る。
論文 参考訳（メタデータ） (2026-06-16T11:18:05Z) - FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching [68.01498128172214]
本稿では,アーキテクチャに依存しない,追加のトレーニングを必要としない長大なビデオ生成のための,斬新でシンプルな推論時間アプローチを提案する。
提案手法では,隣接するウィンドウからのクリーンサンプルをemphTweedieマッチングでブレンドし,テキストbfmanifoldの制約と重複領域間の時間的一貫性を強制する。
本手法は, 時間的一貫性と視覚的品質において, トレーニング不要, 自己回帰ベースラインを両立させながら, ネイティブウィンドウ長よりも数倍長大のビデオを生成する。
論文 参考訳（メタデータ） (2026-05-20T08:55:37Z) - Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation [16.611062315689306]
本稿では,時間的情報保持と計算効率を協調的に最適化するハイブリッド・フォースを提案する。
我々のモデルは、量子化やモデル圧縮なしで、単一のNVIDIA H100 GPU上で29.5 FPSでリアルタイムな832x480ビデオ生成を実現する。
論文 参考訳（メタデータ） (2026-04-11T08:54:07Z) - Deep Forcing: Training-Free Long Video Generation with Deep Sink and Participative Compression [36.99018442740971]
映像拡散にStreamingLLMスタイルのアテンションシンクを鼻で適用すると、忠実度が低下し、動きが停滞することがわかった。
我々は、微調整なしでこれに対応する2つのトレーニング不要なメカニズムからなるDeep Forcingを紹介した。
以上の結果から,トレーニングフリーなKV-cache管理は,自動回帰ストリーミング長ビデオ生成のためのトレーニングベースアプローチと一致するか,あるいは超える可能性があることが示唆された。
論文 参考訳（メタデータ） (2025-12-04T18:46:44Z) - MotionStream: Real-Time Video Generation with Interactive Motion Controls [60.403597895657505]
単一GPU上で最大29FPSのストリーミング生成が可能なサブ秒レイテンシを実現するMotionStreamを提案する。
提案手法は,グローバルなテキストプロンプトとローカルなモーションガイダンスに準拠する高品質なビデオを生成するが,リアルタイムでは推論を行わないモーションコントロールによるテキスト・ツー・ビデオモデルの拡張から始まる。
我々のモデルでは、動きの追従と映像の質を2桁高速化し、無限長のストリーミングを可能にする。
論文 参考訳（メタデータ） (2025-11-03T06:37:53Z) - Rolling Forcing: Autoregressive Long Video Diffusion in Real Time [86.40480237741609]
Rolling Forcingは、エラーの最小限の蓄積で長いビデオをストリーミングできる、新しいビデオ生成技術である。
転がり強制力には3つの新しい設計が伴う。第一に、エラー伝播を加速する個別のフレームを反復的にサンプリングする代わりに、共同演示方式を設計する。
第2に,アテンションシンク機構を長軸ストリームビデオ生成タスクに導入し,初期フレームのキー値状態をグローバルなコンテキストアンカーとして保持する。
第3に,大半が拡張された遮音窓上での無段蒸留を可能にする効率的な訓練アルゴリズムを設計する。
論文 参考訳（メタデータ） (2025-09-29T17:57:14Z) - RAIN: Real-time Animation of Infinite Video Stream [52.97171098038888]
RAINは、低レイテンシで、無限のビデオストリームをリアルタイムでアニメーションできるパイプラインソリューションである。
RAINは、より短いレイテンシと高速な速度でビデオフレームを生成すると同時に、拡張されたビデオストリームに対する長距離の注意を維持する。
RAINは、競合他社よりもはるかに優れた品質、正確性、一貫性で、リアルタイムにキャラクタをアニメーションすることができる。
論文 参考訳（メタデータ） (2024-12-27T07:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。