論文の概要: iCATS: Fast Video Generation via Interaction-Aware Sparse Attention and Timestep-Adaptive Sparsity

• arxiv url: http://arxiv.org/abs/2610.11302v1
• Date: Thu, 08 Oct 2026 06:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.824732
• Title: iCATS: Fast Video Generation via Interaction-Aware Sparse Attention and Timestep-Adaptive Sparsity
• Title（参考訳）: iCATS: インタラクションを意識したスパースアテンションと時間順応性による高速ビデオ生成
• Abstract要約: 拡散変圧器(DiT)の実用化のための訓練不要スパースアテンション ハードウェアの効率的な実行戦略に改良された重要度推定とスパースマスク構築を統合したiCATSを提案する。 実験の結果、iCATSはHunyuanVideo-T2V-13Bで31.017 dB PSNR、Wan2.1-T2V-14Bで29.301 dB PSNRで1.55times$Accelerationを達成した。
• 参考スコア（独自算出の注目度）: 18.5011205407115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training-free sparse attention offers a practical acceleration solution to Diffusion Transformers (DiTs) via reducing computations without fine-tuning. It typically involves estimating the importance of query-key regions and deriving sparse masks to compute only the important candidates, which inevitably introduces approximation errors that may degrade generation quality. To better balance the efficiency-quality trade-off, we propose iCATS, integrating improved importance estimation and sparse mask construction with an efficient hardware execution strategy. Specifically, for importance estimation, unlike previous works that perform independent clustering over query and key tokens based on feature similarity to estimate attention scores, iCATS demonstrates that clustering based on query-key dot-product interactions is more accurate and further reformulates this objective as a simple quadratic form for low-cost computation. For sparse mask construction, instead of using a fixed top-p rule, we observe that tolerance to sparse approximation errors varies across denoising timesteps and therefore introduce an SNR-guided sparsity schedule to adjust sparsity dynamically, leading to higher accuracy. Finally, for hardware execution, we devise a tail-merging strategy to reduce padding overhead caused by irregular cluster sizes, improving GPU kernel utilization. Extensive experiments show that iCATS achieves $2.03\times$ acceleration with 31.017 dB PSNR on HunyuanVideo-T2V-13B and $1.55\times$ acceleration with 29.301 dB PSNR on Wan2.1-T2V-14B, delivering a state-of-the-art efficiency-quality trade-off.
• Abstract（参考訳）: トレーニング不要なスパースアテンションは、微調整なしで計算を減らし、拡散変換器(DiT)の実用的な加速ソリューションを提供する。 通常、クエリキー領域の重要性を推定し、重要な候補のみを計算するためにスパースマスクを導出する。 効率と品質のトレードオフのバランスを良くするため,iCATSを提案し,改良された重要度推定とスパースマスク構築を効率的なハードウェア実行戦略に統合する。 特に重要な推定は、クエリよりも独立したクラスタリングとアテンションスコアとの特徴的類似性に基づくキートークンを実行する以前の研究とは異なり、iCATSはクエリキーのドット積の相互作用に基づくクラスタリングがより正確であることを示し、さらにこの目的を低コストな計算のための単純な二次形式として再構成する。 スパースマスク構成では、固定トップpルールの代わりに、スパース近似誤差に対する耐性がデノナイズタイムステップによって異なることを観察し、スペーサを動的に調整するSNR誘導スペーサ性スケジュールを導入し、精度を向上する。 最後に、ハードウェア実行のために、不規則なクラスタサイズに起因するパディングオーバーヘッドを低減し、GPUカーネルの利用率を改善するために、テールマージ戦略を考案する。 大規模な実験の結果、iCATSは、HunyuanVideo-T2V-13Bで31.017 dB PSNR、Wan2.1-T2V-14Bで29.301 dB PSNRで1.55\times$Accelerationを達成し、最先端の効率品質のトレードオフを提供する。

関連論文リスト

• Training-free sparse attention based on cumulative energy filtering [5.794925677954963]
  スパースアテンションは、残りの部分をスキップしながら重要なトークンのみを演算することで、ビデオ生成のための拡散変換器(DiT)を加速させる。 トークンフィルタリングを2ゴール最適化問題として定式化し,空間幅の最大化と精度劣化の最小化を行う。 私たちのアルゴリズムはFlash Attention(FA)と深く統合されており、追加のマスキングオーバーヘッドを不要にしています。
  論文  参考訳（メタデータ） (2026-06-15T07:26:57Z)
• SpecAttn: Speculating Sparse Attention [1.6921396880325779]
  SpecAttnは、投機的復号化技術とシームレスに統合する、新しいトレーニング不要のアプローチである。 私たちの重要な洞察は、投機的復号中にドラフトモデルによって既に計算されている注意重みを利用して、ターゲットモデルの重要なトークンを特定することです。 SpecAttnは、PG-19データセットのパープレキシティをわずか15.29%増加させ、キー値キャッシュアクセスを75%以上削減する。
  論文  参考訳（メタデータ） (2025-10-31T17:12:34Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)
• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)
• High-Frequency Prior-Driven Adaptive Masking for Accelerating Image Super-Resolution [87.56382172827526]
  高周波領域は再建に最も重要である。 本稿では,アクセラレーションのためのトレーニング不要適応マスキングモジュールを提案する。 本手法は,最先端モデルのFLOPを24～43%削減する。
  論文  参考訳（メタデータ） (2025-05-11T13:18:03Z)
• Sparsity Forcing: Reinforcing Token Sparsity of MLLMs [40.93786579652003]
  マルチモーダル大規模言語モデル(MLLM)におけるトークンの分散性を,単純なRLベースのポストトレーニングフレームワークであるtextitSparsity Forcing を用いて明示的に強化する。 本手法では,複数ロールアウトを異なるトークン予算で実行し,効率(トーケン還元率)と性能(回答正当性)の両方を共同報酬として定式化することにより,効率・正確性トレードオフを探索する。
  論文  参考訳（メタデータ） (2025-04-23T01:45:55Z)
• Accelerating AI Performance using Anderson Extrapolation on GPUs [2.114333871769023]
  Anderson外挿を利用したAI性能向上のための新しい手法を提案する。 混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。 高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:45:17Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。