論文の概要: Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.29441v1
• Date: Wed, 21 Oct 2026 09:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.238116
• Title: Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
• Title（参考訳）: ビデオ拡散変換器用ブロック間隔アロケーションのトレーニング不要化
• Abstract要約: ブロックスパースアテンションは、選択ブロックのみを計算することで、このコストを削減する。 既存のメソッドは、スパシティ割り当てを最適化する可能性を見落としているか、注意ルールに依存するか、それをガイドするローカルメトリクスに依存している。 本研究は,異なる層および異なるデノナイジングステップにおけるスペーシングの注意が,最終映像の忠実度をほぼ異なる程度に変化させることを観察する。
• 参考スコア（独自算出の注目度）: 27.19518795213578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full 3D attention is costly in video Diffusion Transformers. Block-sparse attention reduces this cost by computing only selected attention blocks. However, existing methods either overlook the potential to optimize sparsity allocation or rely on heuristic rules or local metrics to guide it. In this work, we observe that sparsifying attention in different layers and at different denoising steps affects final-video fidelity to substantially different degrees. Yet the identities of the most sensitive layer-step pairs remain nearly unchanged across inputs. Building on these findings, we propose Allocating Layer-step Latency by Output Tests (ALLOT), a training-free sparsity allocation method. Treating each layer-step pair as a cell, ALLOT estimates each cell's contribution to final-video error through (i) cell probing and (ii) trajectory calibration, then jointly optimizes cell densities under a measured-latency budget. It preserves existing selection strategies and kernels, replacing only the allocation component. At equal or shorter wall-clock time, ALLOT outperforms every compared allocation strategy with XAttention, with an 11.8 dB PSNR gain on HunyuanVideo. Extensive experiments across four additional published pipelines on Wan2.1, Wan2.2, and HunyuanVideo show that ALLOT outperforms or ties the default in all nine settings.
• Abstract（参考訳）: ビデオDiffusion Transformersでは、完全に3Dの注意を払っている。 ブロックスパースアテンションは、選択されたアテンションブロックのみを計算することで、このコストを削減する。 しかし、既存のメソッドは、スパーシティ割り当てを最適化する可能性を見落としているか、ヒューリスティックなルールか、それを導くためのローカルメトリクスに依存している。 本研究は,異なる層および異なるデノナイジングステップにおけるスペーシングの注意が,最終映像の忠実度をほぼ異なる程度に変化させることを観察する。 しかし、最も敏感な層-ステップペアのアイデンティティは、入力間でほとんど変わらないままである。 これらの結果に基づいて、トレーニング不要な空間割当手法である出力テスト(ALLOT)によるレイヤステップレイテンシの割当を提案する。 各レイヤステップペアをセルとして扱うと、ALLOTは最終ビデオエラーに対する各セルの寄与を推定する。 (i)細胞探索、および (二)軌道校正を行い、測定遅延予算の下で細胞密度を共同最適化する。 既存の選択戦略とカーネルを保持し、アロケーションコンポーネントのみを置き換える。 11.8dBのPSNRゲインでHunyuanVideoで比較したアロケーション戦略をXAttentionで上回っている。 Wan2.1、Wan2.2、HunyuanVideoの4つの追加のパイプラインに対する大規模な実験は、ALLOTが9つの設定すべてでデフォルトを上回り、結び付けていることを示している。

関連論文リスト

• SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration [26.376862235834732]
  拡散変換器(DiT)は高忠実度画像と映像生成を実現する。 DiTは、多くのデノナイジングステップにわたる反復的なトランスフォーマー評価により、相当な推論コストに悩まされる。 最近の予測手法では、この機能を再利用せずにスキップステップに外挿することで、このアイデアを拡張している。 本稿では、周波数領域におけるモデル出力を予測できる訓練不要なSpecKCastを提案する。
  論文  参考訳（メタデータ） (2026-10-19T17:58:04Z)
• Routing Policy Optimization for Online Diffusion Reinforcement Learning [63.968567790829496]
  強化学習は、視覚ジェネレータを訓練対象を超えて報酬信号と整合させることができる。 既存のスコア関数法は、典型的には逆の denoising 軌道を摂動することによって導入される。 我々は、アテンションルーティングを探索行動に変換するためにルーティングポリシー最適化を使用します。
  論文  参考訳（メタデータ） (2026-10-15T17:40:30Z)
• Accelerating Video Diffusion via Training-Free Trajectory Routing [16.936373458778892]
  ビデオ拡散は計算コストがかかるため、多くのデノナイジングステップで大きなモデルを実行する必要がある。 TRACK: TRajectory-Aware Capacity routing via top-K selection, an heterogeneous denoising strategy。 TRACKは、選択されたステップで互換性のある大小モデルの切り替えを行う。
  論文  参考訳（メタデータ） (2026-09-24T16:39:47Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification [40.871125398000544]
  トレーニング不要なダイナミックスパースアテンションは、選択されたキー値ブロックのみを演算することでボトルネックを軽減する。 トレーニング不要なSol-Attnを導入し、1つのオンラインソフトマックスパスで動的ルーティング、スパース計算、近似補正を統一する。
  論文  参考訳（メタデータ） (2026-07-27T05:53:28Z)
• ScalingAttention: Discovering Intrinsic Sparse Attention Topology for Video Diffusion Transformers [7.879917783645986]
  Diffusion Transformers (DiTs) は高忠実度ビデオ生成に革命をもたらしたが、3Dフルアテンションに依存しているため、二次的な計算ボトルネックが生じる。 動的プルーニングは禁止されたランタイムのオーバーヘッドとメモリの断片化に悩まされ、静的はきめ細かい依存関係をキャプチャできない。 本研究では,重要な帰納バイアスに基づくトレーニングフリーフレームワークであるScalingAttentionを提案する。 Wan2.1の実験では、1.90倍のエンドツーエンドのスピードアップが達成され、最先端のベースラインに対する新たなフロンティアが確立された。
  論文  参考訳（メタデータ） (2026-06-22T08:32:07Z)
• Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation [52.10062792673558]
  自動ストリーミングビデオ拡散モデルを実用化するために、蒸留ベースの加速が基礎となっている。 既存の方法は、すべてのロールアウト、フレーム、ピクセルを同様に信頼できる監視として扱う。 本稿では,信頼性に配慮したリワード蒸留フレームワークStream-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-05T15:15:30Z)
• Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers [24.105473321347894]
  本稿では,ビデオ拡散変換器(vDiT)の空間加速度フレームワークであるSparse-vDiTを提案する。 Sparse-vDiT が 2.09$times$, 2.38$times$, 1.67$times$理論 FLOP 還元, 1.76$times$, 1.85$times$, 1.58$times$ をそれぞれ達成していることを示す。 我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。
  論文  参考訳（メタデータ） (2025-06-03T16:42:37Z)
• VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
  ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。 私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
  論文  参考訳（メタデータ） (2025-05-19T17:30:13Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。