論文の概要: Where Compute Matters: Heterogeneous Attention for Efficient Video Diffusion

• arxiv url: http://arxiv.org/abs/2609.31050v1
• Date: Fri, 25 Sep 2026 09:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.329951
• Title: Where Compute Matters: Heterogeneous Attention for Efficient Video Diffusion
• Title（参考訳）: 効率的なビデオ拡散のための不均一な注意
• Abstract要約: HetA-DiTはトークンの難易度に応じて適応的に割り当てる不均一な注意機構である。 軽量不確実性分岐は、難解度をトークン単位で推定する。 DMDを蒸留したWan2.2-5BとWan2.1-1.3Bモデルで評価を行った。
• 参考スコア（独自算出の注目度）: 27.322376255276456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient video generation requires reducing the quadratic cost of self-attention over long spatio-temporal token sequences. Existing efficient-attention methods typically apply the same computation pattern to every token, even though denoising difficulty varies substantially across video regions and evolves throughout the generation process. We introduce HetA-DiT, a heterogeneous attention mechanism that adaptively allocates computation according to token difficulty. A lightweight uncertainty branch predicts a token-wise estimate of denoising difficulty, which is used to route uncertain tokens through dense global attention while processing more reliable tokens with efficient local attention. The resulting routing is content- and timestep-adaptive, retains global context where it matters most, and provides a single parameter for controlling the quality-efficiency trade-off. HetA-DiT is compatible with few-step distribution-matching distillation and introduces no additional Transformer evaluation at inference time by reusing uncertainty estimates from the preceding denoising step. We evaluate the method on DMD-distilled Wan2.2-5B and Wan2.1-1.3B models. Across VBench, VBench-2.0, and human preference evaluation, HetA-DiT maintains competitive generation quality while routing only approximately 20% of tokens through dense attention.
• Abstract（参考訳）: 効率的なビデオ生成には、長時間の時空間トークンシーケンス上での自己注意の二次的コストを削減する必要がある。 既存の効率的なアテンション法は、ビデオ領域間で難易度が大きく異なり、生成プロセスを通して進化するにもかかわらず、全てのトークンに同じ計算パターンを適用するのが一般的である。 本稿では,トークンの難易度に応じて計算を適応的に割り当てるヘテロジニアスアテンション機構であるHetA-DiTを紹介する。 軽量不確実性分岐は、より信頼性の高いトークンを効率的な局所的な注意で処理しながら、不確実性トークンを高密度なグローバルな注意を通してルーティングするために使用される、難解化のトークンワイズ推定を予測する。 結果として得られるルーティングは、コンテントとタイムステップに適応し、最も重要なグローバルコンテキストを保持し、品質と効率のトレードオフを制御するための単一のパラメータを提供する。 HetA-DiTは, 数段階の分散マッチング蒸留と互換性があり, 前回のデノナイジング工程からの不確実性評価を再利用することによって, 推論時にトランスフォーマー評価を付加しない。 DMDを蒸留したWan2.2-5BとWan2.1-1.3Bモデルで評価を行った。 VBench、VBench-2.0、および人間の嗜好評価を通じて、HetA-DiTは、トークンの約20%を集中的にルーティングしながら、競争力のある生成品質を維持している。

関連論文リスト

• TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution [52.96050253456634]
  TRaM-VSRは、コンテキスト対応のビデオプリエントとネットワークレベルを用いた適応トークンアロケーションのためのフレームワークである。 その結果、TRaM-VSRは、最先端の復元品質と頑健な時間的整合性を維持しつつ、推論を著しく加速することがわかった。
  論文  参考訳（メタデータ） (2026-07-24T11:57:26Z)
• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation [53.176242285107485]
  速度のダイナミクスに基づいて異なる冗長トークンに様々なステップ予算を割り当てる動き自由推論を導入する。 結果として生じるシーケンス長ミスマッチを解決するため、HSAはKV-cache機構を導入し、アクティブトークンが全シーケンスに参加することができる。 We evaluate HSA on the Wan-2 and LTX-2 models for both text-to-video (T2V) and image-to-video (2V) generation。
  論文  参考訳（メタデータ） (2026-05-07T19:49:47Z)
• LiteAttention: A Temporal Sparse Attention for Diffusion Transformers [1.3471268811218626]
  LiteAttentionは時間的コヒーレンスを利用して、デノナイジングシーケンスを横断する進化的計算スキップを可能にする。 我々はFlashAttention上に高度に最適化されたLiteAttentionカーネルを実装し、プロダクションビデオ拡散モデルにかなりのスピードアップを示す。
  論文  参考訳（メタデータ） (2025-11-14T08:26:55Z)
• FullDiT2: Efficient In-Context Conditioning for Video Diffusion Transformers [63.788600404496115]
  FullDiT2は、ビデオ生成と編集の両方における一般的な制御性のための効率的なコンテキスト内条件付けフレームワークである。 FullDiT2は、拡散ステップ当たりの平均時間コストにおいて、計算の大幅な削減と2～3倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-06-04T17:57:09Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)
• Online Pseudo-average Shifting Attention(PASA) for Robust Low-precision LLM Inference: Algorithms and Numerical Analysis [15.71443217369106]
  我々は、Flash Attentionに基づくPASAと呼ばれる低精度で数学的に等価なアルゴリズムを開発した。 PASAは、オンライン擬似平均シフトとグローバルリカバリの2つの新しいテクニックを紹介している。 注意入力データの大きなバイアスと振幅が,数値オーバーフローに寄与する重要な要因であることがわかった。
  論文  参考訳（メタデータ） (2025-02-26T01:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。