論文の概要: FIS-DiT: Breaking the Few-Step Video Inference Barrier via Training-Free Frame Interleaved Sparsity

• arxiv url: http://arxiv.org/abs/2605.11869v1
• Date: Tue, 12 May 2026 09:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.771633
• Title: FIS-DiT: Breaking the Few-Step Video Inference Barrier via Training-Free Frame Interleaved Sparsity
• Title（参考訳）: FIS-DiT: トレーニング不要フレームインターリーブによるビデオ推論バリアの破壊
• Abstract要約: ビデオ拡散変換器(DiT)はモデルによって大幅に削減できるが、ステップごとの推論レイテンシは依然として重要なボトルネックである。 本研究では、時間軌道から潜在フレーム位置への最適化焦点をシフトさせる、トレーニング不要で演算子に依存しないフレームワークであるFrame Inter Sparsity DiT (FIS-DiT)を提案する。 FIS-DiTは、VBench-QおよびCLIPメトリクス間で無視できない劣化を伴う2.11--2.41$times$ Speedupを一貫して達成している。
• 参考スコア（独自算出の注目度）: 23.184639887235218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the overall inference latency of Video Diffusion Transformers (DiTs) can be substantially reduced through model distillation, per-step inference latency remains a critical bottleneck. Existing acceleration paradigms primarily exploit redundancy across the denoising trajectory; however, we identify a limitation where these step-wise strategies encounter diminishing returns in few-step regimes. In such scenarios, the scarcity of temporal states prevents effective feature reuse or predictive modeling, creating a formidable barrier to further acceleration. To overcome this, we propose Frame Interleaved Sparsity DiT (FIS-DiT), a training-free and operator-agnostic framework that shifts the optimization focus from the temporal trajectory to the latent frame dimension. Our approach is motivated by an intrinsic duality within this dimension: the existence of frame-wise sparsity that permits reduced computation, coupled with a structural consistency where each frame position remains equally vital to the global spatiotemporal context. Leveraging this insight, we implement Frame Interleaved Sparsity (FIS) as an execution strategy that manipulates frame subsets across the model hierarchy, refreshing all latent positions without requiring full-scale block computation. Empirical evaluations on Wan 2.2 and HunyuanVideo 1.5 demonstrate that FIS-DiT consistently achieves 2.11--2.41$\times$ speedup with negligible degradation across VBench-Q and CLIP metrics, providing a scalable and robust pathway toward real-time high-definition video generation.
• Abstract（参考訳）: ビデオ拡散変換器(DiT)の全体的な推論レイテンシはモデル蒸留によって大幅に低減されるが、ステップごとの推論レイテンシは依然として重要なボトルネックである。 既存の加速パラダイムは、主に認知軌道を横断する冗長性を利用するが、これらの段階的な戦略が数段階のレジームにおいて減少するリターンに遭遇する限界を特定する。 このようなシナリオでは、時間状態の不足は効果的な特徴の再利用や予測モデリングを阻害し、さらなる加速のための恐ろしい障壁を生み出す。 これを解決するために、時間軌道から潜在フレーム次元へ最適化焦点をシフトするトレーニングフリーで演算子に依存しないフレームワーク、Frame Interleaved Sparsity DiT (FIS-DiT)を提案する。 この次元における本質的な双対性、すなわち、計算の削減を可能にするフレームワイド空間の存在と、各フレーム位置がグローバル時空間に等しく不可欠である構造的一貫性の両立によって、我々のアプローチは動機付けられている。 この知見を活かして、モデル階層全体にわたるフレームサブセットを操作する実行戦略としてFrame Interleaved Sparsity(FIS)を実装し、完全なブロック計算を必要とせずに、すべての潜在位置をリフレッシュする。 Wan 2.2 と HunyuanVideo 1.5 の実証的な評価により、FIS-DiT は VBench-Q と CLIP のメトリクス間で無視できない劣化を伴い、一貫した 2.11--2.41$\times$ のスピードアップを達成し、リアルタイム高精細ビデオ生成へのスケーラブルで堅牢な経路を提供することを示した。

関連論文リスト

• COMET: Contrastive Motion-Enhanced Temporal Reasoning for Video Multimodal Large Language Models [15.39037309359101]
  ビデオ多モーダル大言語モデルは大幅に進歩しているが、微粒な動き・時間的理解は脆弱である。 本稿では,ビデオMLLMを明示的な時間的表現によって体系的に強化する,時間的基盤のフレームワークであるCOMETを提案する。 最適化のために、COMETは時間的事前蒸留と時間的順序を直接学習信号に変換する前方逆TC-GRPOステージを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-21T12:28:36Z)
• ST-Prune: Training-Free Spatio-Temporal Token Pruning for Vision-Language Models in Autonomous Driving [31.688411695647357]
  我々は、Motionaware RSP (MTP) と Ring-view Spatial Pruning (RSPRSP) の2つの相補的なモジュールからなるトレーニングフリーのプラグアンドプレイフレームワークST-Pruneを提案する。 これら2つのモジュールは完全な時間的プルーニングプロセスを構成し、トレーニング不要なトークンプルーニングのための重要な幾何学的技法を保存する。 ST-Pruneは、既存のプルーニングアプローチに匹敵する速度を維持しながら、フルモデルベースラインを超える特定のメトリクスで、ほぼロスレスのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-21T06:51:08Z)
• D$^2$-VR: Degradation-Robust and Distilled Video Restoration with Synergistic Optimization Strategy [7.553742541566094]
  時間的アライメントと拡散前処理の統合は ビデオ復元の 変革的パラダイムとして現れました 素晴らしい知覚の質を提供しています 単一画像拡散に基づく低ステップ推論によるビデオ再生フレームワークである textbfD$2$-VR を提案する。
  論文  参考訳（メタデータ） (2026-02-09T08:52:51Z)
• Efficient On-Board Processing of Oblique UAV Video for Rapid Flood Extent Mapping [7.460695517551536]
  TTR(Temporal Token Reuse)は、組み込みデバイス上でビデオセグメンテーションを高速化する適応型推論フレームワークである。 我々は,TTRがセグメンテーション精度(0.5% mIoU)の劣化を無視して,推論遅延の30%低減を実現していることを示す。 これらの結果から,TTRは運用フロンティアを効果的にシフトさせ,高忠実でリアルタイムな斜めビデオ理解を可能にすることが確認された。
  論文  参考訳（メタデータ） (2026-01-16T13:41:56Z)
• Error-Propagation-Free Learned Video Compression With Dual-Domain Progressive Temporal Alignment [92.57576987521107]
  両ドメインのプログレッシブな時間的アライメントと品質条件の混合(QCMoE)を備えた新しい統合変換フレームワークを提案する。 QCMoEは、魅力的なR-Dパフォーマンスで連続的かつ一貫したレート制御を可能にする。 実験結果から,提案手法は最先端技術と比較して,競争力のあるR-D性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-12-11T09:14:51Z)
• Bidirectional Feature-aligned Motion Transformation for Efficient Dynamic Point Cloud Compression [97.66080040613726]
  特徴空間における動きを暗黙的にモデル化する双方向特徴整合運動変換(Bi-FMT)フレームワークを提案する。 Bi-FMTは、時間的に一貫した潜在表現を生成するために、過去と将来の両方のフレームで機能を調整する。 圧縮効率とランタイムの両方において, Bi-FMT が D-DPCC と AdaDPCC を上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-18T03:51:06Z)
• FCA2: Frame Compression-Aware Autoencoder for Modular and Fast Compressed Video Super-Resolution [68.77813885751308]
  最先端(SOTA)圧縮ビデオ超解像(CVSR)モデルは、長期の推論時間、複雑なトレーニングパイプライン、補助情報への依存など、永続的な課題に直面している。 ハイパースペクトル画像(HSI)とビデオデータの構造的および統計的類似性から着想を得た,効率的でスケーラブルなソリューションを提案する。 提案手法では,計算複雑性を低減し,推論を高速化し,フレーム間の時間情報の抽出を促進する圧縮駆動型次元減少戦略を導入する。
  論文  参考訳（メタデータ） (2025-06-13T07:59:52Z)
• Enhancing Low-Cost Video Editing with Lightweight Adaptors and Temporal-Aware Inversion [28.38307253613529]
  本稿では,時間空間的・意味的一貫性をBaliteral DDIMインバージョンと統合するフレームワークを提案する。 MSR-VTTデータセットで示すように,本手法は知覚品質,テキスト画像アライメント,時間的コヒーレンスを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-08T16:41:31Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。 本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。 我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。