論文の概要: Speculative Sampling in Interactive Video Generation
- arxiv url: http://arxiv.org/abs/2610.20556v1
- Date: Wed, 14 Oct 2026 17:45:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.285894
- Title: Speculative Sampling in Interactive Video Generation
- Title(参考訳): インタラクティブビデオ生成における投機サンプリング
- Abstract要約: そこで我々は,大規模双方向ウィンドウのモデリング能力と小型ウィンドウの低遅延相互作用を併用した投機的サンプリング手法を提案する。
レイテンシ解析により、チャンク境界によって課される待ち時間の低いバウンダリを排除し、最適化の焦点をチャンクサイズを削減し、チャンク単位のサンプリングを高速化する。
- 参考スコア(独自算出の注目度): 56.167130753016444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interactive video generation commonly relies on small bidirectional chunks to reduce response latency. Yet our preliminary experiments show that larger chunks improve video quality and better utilize GPU parallelism, allowing more latents to be sampled with only a modest increase in sampling time. Motivated by these observations, we propose Speculative Sampling, a strategy that combines the modeling power of large bidirectional windows with the low-latency interaction of small ones. It expands the modeling window by appending noise latents as padding and caches the resulting predictions for reuse when the condition remains unchanged. Predictions are delivered incrementally, while the uncommitted future remains replaceable. Our latency analysis shows that this removes the waiting-time lower bound imposed by chunk boundaries, shifting the optimization focus from reducing chunk size to accelerating per-chunk sampling. Bidirectional window size thus becomes a decision variable for jointly optimizing visual quality and sampling time, rather than a necessary constraint on low-latency interaction. This opens a path to serving large bidirectional models in interactive streaming systems without complex streaming post-training.
- Abstract(参考訳): インタラクティブなビデオ生成は、レスポンスのレイテンシを低減するために、通常、小さな双方向のチャンクに依存します。
しかし、予備実験では、大きなチャンクによってビデオの品質が向上し、GPU並列性が向上し、サンプリング時間がわずかに増加するだけで、より多くの潜水剤をサンプリングできることがわかった。
提案手法は,大規模な双方向ウィンドウのモデリング能力と小型ウィンドウの低遅延相互作用を組み合わせた提案手法である。
ノイズラテントをパディングとして追加することでモデリングウィンドウを拡張し、条件が変わらなかった場合の再利用予測をキャッシュする。
予測は段階的に配信されるが、コミットされていない未来は置換可能である。
我々のレイテンシ分析は、チャンク境界によって課される待ち時間の低いバウンダリを排除し、最適化の焦点をチャンクサイズを減らすことから、チャンク単位のサンプリングを高速化することを示しています。
したがって、双方向ウィンドウサイズは、低遅延相互作用において必要となる制約ではなく、視覚的品質とサンプリング時間を共同最適化するための決定変数となる。
これにより、複雑なストリーミング後トレーニングなしで、インタラクティブなストリーミングシステムで大きな双方向モデルを提供する道を開く。
関連論文リスト
- Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing [40.84222109829302]
我々は、精度を犠牲にすることなく効率を大幅に改善するデュアルストリーム高速スローフレームワークであるSegFSを紹介した。
オブジェクトデコーディングから特徴空間コンディショニングへインスタンスの伝搬をシフトすることで,高密度マスク予測からマルチモーダルなセマンティック理解を分離する。
提案した高速分岐は、標準のOV-VISベンチマークで競合セグメンテーション性能を維持しながら、モバイル指向のUSモデルよりも14倍低い。
論文 参考訳(メタデータ) (2026-06-30T19:59:19Z) - FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching [68.01498128172214]
本稿では,アーキテクチャに依存しない,追加のトレーニングを必要としない長大なビデオ生成のための,斬新でシンプルな推論時間アプローチを提案する。
提案手法では,隣接するウィンドウからのクリーンサンプルをemphTweedieマッチングでブレンドし,テキストbfmanifoldの制約と重複領域間の時間的一貫性を強制する。
本手法は, 時間的一貫性と視覚的品質において, トレーニング不要, 自己回帰ベースラインを両立させながら, ネイティブウィンドウ長よりも数倍長大のビデオを生成する。
論文 参考訳(メタデータ) (2026-05-20T08:55:37Z) - Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation [16.611062315689306]
本稿では,時間的情報保持と計算効率を協調的に最適化するハイブリッド・フォースを提案する。
我々のモデルは、量子化やモデル圧縮なしで、単一のNVIDIA H100 GPU上で29.5 FPSでリアルタイムな832x480ビデオ生成を実現する。
論文 参考訳(メタデータ) (2026-04-11T08:54:07Z) - Streaming Autoregressive Video Generation via Diagonal Distillation [50.13573884115673]
自己回帰モデルは、シーケンシャルフレーム合成のための自然なフレームワークを提供するが、高い忠実性を達成するためには重い計算を必要とする。
ビデオチャンクとデノイングステップの時間的情報を活用するために,ダイアゴナル蒸留を提案する。
本手法は,2.61秒(最大31FPS)で5秒ビデオを生成し,未蒸留モデル上で277.3倍のスピードアップを実現する。
論文 参考訳(メタデータ) (2026-03-10T10:45:24Z) - Rolling Forcing: Autoregressive Long Video Diffusion in Real Time [86.40480237741609]
Rolling Forcingは、エラーの最小限の蓄積で長いビデオをストリーミングできる、新しいビデオ生成技術である。
転がり強制力には3つの新しい設計が伴う。第一に、エラー伝播を加速する個別のフレームを反復的にサンプリングする代わりに、共同演示方式を設計する。
第2に,アテンションシンク機構を長軸ストリームビデオ生成タスクに導入し,初期フレームのキー値状態をグローバルなコンテキストアンカーとして保持する。
第3に,大半が拡張された遮音窓上での無段蒸留を可能にする効率的な訓練アルゴリズムを設計する。
論文 参考訳(メタデータ) (2025-09-29T17:57:14Z) - Training-free Diffusion Acceleration with Bottleneck Sampling [37.9135035506567]
Bottleneck Samplingは、低解像度の事前処理を活用して、出力の忠実さを維持しながら計算オーバーヘッドを低減する、トレーニング不要のフレームワークである。
画像生成に最大3$times$、ビデオ生成に2.5$times$、標準のフル解像度サンプリングプロセスに匹敵する出力品質を維持しながら、推論を加速する。
論文 参考訳(メタデータ) (2025-03-24T17:59:02Z) - SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。
時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。
10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
論文 参考訳(メタデータ) (2024-07-22T08:04:09Z) - Learning Spatio-Temporal Downsampling for Effective Video Upscaling [20.07194339353278]
本稿では,時空間ダウンサンプリングとアップサンプリングを学習することで,時空間エイリアス問題を解決することを目的とする。
我々のフレームワークは、任意のビデオリサンプリング、ぼやけたフレーム再構築、効率的なビデオストレージなど、様々なアプリケーションを可能にする。
論文 参考訳(メタデータ) (2022-03-15T17:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。