論文の概要: Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation

• arxiv url: http://arxiv.org/abs/2605.06892v1
• Date: Thu, 07 May 2026 19:49:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.588278
• Title: Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation
• Title（参考訳）: 高速ビデオ生成のための拡散変圧器の不均一なステップアロケーション
• Authors: Ernie Chu, Vishal M. Patel,
• Abstract要約: 速度のダイナミクスに基づいて異なる冗長トークンに様々なステップ予算を割り当てる動き自由推論を導入する。 結果として生じるシーケンス長ミスマッチを解決するため、HSAはKV-cache機構を導入し、アクティブトークンが全シーケンスに参加することができる。 We evaluate HSA on the Wan-2 and LTX-2 models for both text-to-video (T2V) and image-to-video (2V) generation。
• 参考スコア（独自算出の注目度）: 53.176242285107485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers (DiTs) have achieved state-of-the-art video generation quality, but they incur immense computational cost because standard inference applies the same number of denoising steps uniformly to every token in the sequence. It is well known that human vision ignores vast amounts of redundant motion. Why, then, do our densest models treat every spatiotemporal token with equal priority? In this paper, we introduce Heterogeneous Step Allocation (HSA), a training-free inference algorithm that assigns varying step budgets to different spatiotemporal tokens based on their velocity dynamics. To resolve the resulting sequence-length mismatch without sacrificing global context, HSA introduces a KV-cache synchronization mechanism that allows active tokens to attend to the full sequence while entirely bypassing inactive tokens. Furthermore, we derive a cached Euler update that advances the latent states of skipped tokens in a single operation without additional model evaluations. We evaluate HSA on the Wan-2 and LTX-2 models for both text-to-video (T2V) and image-to-video (I2V) generation. Our results demonstrate that HSA significantly outperforms previous state-of-the-art caching methods and the vanilla Flow Matching baseline, especially at aggressive acceleration regimes (e.g., 50% and 25% runtimes). Crucially, HSA achieves a superior quality-runtime Pareto frontier without the need for expensive offline profiling, robustly preserving structural integrity and generation quality even under tight computational budgets. Project page: https://ernestchu.github.io/hsa
• Abstract（参考訳）: Diffusion Transformer (DiTs) は最先端のビデオ生成の品質を達成しているが、標準的な推論では、シーケンス内のすべてのトークンに同じ数の復調ステップを適用するため、膨大な計算コストがかかる。 人間の視覚は膨大な冗長な動きを無視していることはよく知られている。 では、私たちの最も密集したモデルは、すべての時空間トークンを同じ優先度で扱うのでしょうか? 本稿では, 異なる時空間トークンに異なるステップ予算を割り当てる学習自由推論アルゴリズムであるヘテロジニアスステップアロケーション(HSA)を提案する。 グローバルコンテキストを犠牲にすることなく、結果として生じるシーケンス長ミスマッチを解決するため、HSAはKV-cache同期機構を導入する。 さらに,1つの操作で欠落したトークンの潜伏状態を,追加のモデル評価なしで改善するキャッシュ付きEuler更新を導出する。 We evaluate HSA on the Wan-2 and LTX-2 models for both text-to-video (T2V) and image-to-video (I2V) generation。 以上の結果から,HSAは従来のキャッシング手法やバニラフローマッチングのベースライン,特にアグレッシブ・アクセラレーション(50%,25%ランタイムなど)において,かなり優れていたことが示唆された。 重要な点として、HSAは、高価なオフラインプロファイリングを必要とせず、厳密な計算予算の下でも構造的整合性と生成品質を確実に保持することなく、高品質で実行可能なパレートフロンティアを実現している。 プロジェクトページ: https://ernestchu.github.io/hsa

関連論文リスト

• Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep [37.62908191585867]
  HetCacheは、ビデオ・ツー・ビデオ(MV2V)の生成と編集のためのトレーニング不要な拡散加速フレームワークである。 編集の一貫性と忠実さを維持しながら、冗長な注意操作を低減する。 実験によると、HetCacheは2.67$times$レイテンシのスピードアップやFLOPの削減など、目立った加速を実現している。
  論文  参考訳（メタデータ） (2026-03-25T12:53:31Z)
• EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation [80.13014959623452]
  EVATokは、$textbfE$fficient $textbfV$ideo $textbfA$daptive $textbfTok$enizersを生成するフレームワークである。 EVATok は UCF-101 上でより優れた再構成と最先端のクラス・ビデオ生成を実現する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:59Z)
• AdaTSQ: Pushing the Pareto Frontier of Diffusion Transformers via Temporal-Sensitivity Quantization [22.45250803905198]
  拡散変換器(DiT)は、高忠実度画像とビデオ生成のための最先端のバックボーンとして登場した。 後学習量子化(PTQ)は、大規模言語モデル(LLM)に有効であることが証明された。 本稿では,DiTの時間感度を利用して効率と品質のフロンティアを推し進める新しいPTQフレームワークであるAdaTSQを提案する。
  論文  参考訳（メタデータ） (2026-02-10T15:23:18Z)
• OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
  我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。 その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
  論文  参考訳（メタデータ） (2025-10-08T03:55:24Z)
• Compute Only 16 Tokens in One Timestep: Accelerating Diffusion Transformers with Cluster-Driven Feature Caching [11.75972316736487]
  本稿では,拡散変圧器の高速化を目的としたクラスタ駆動型特徴キャッシング(ClusCa)を提案する。 ClusCaは各タイムステップ内のトークンに空間的クラスタリングを行い、各クラスタ内のトークンを1つだけ計算し、その情報を他のすべてのトークンに伝達する。 DiT、FLUX、HunyuanVideoの実験は、テキスト・ツー・イメージとテキスト・ツー・ビデオの生成において、その効果を実証している。
  論文  参考訳（メタデータ） (2025-09-12T14:53:45Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。