論文の概要: Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2610.22975v1
- Date: Fri, 16 Oct 2026 05:50:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.776432
- Title: Sink-Sparse Hybrid Attention for Efficient Inference in T2I/T2V Diffusion Transformers
- Title（参考訳）: T2I/T2V拡散変換器における効率的な推論のためのシンクスパースハイブリッドアテンション
- Abstract要約: 再利用可能な重要度対応スパースサポートは、T2VとT2I DiTの両方に効果的な列車不要加速経路を提供することができる。
シンク・スパースハイブリッド・アテンション(Sink-Sparse Hybrid Attention)は、スタティックシンクマスクを再利用し、軽量のプール付きKVブランチで補う列車不要のアテンション代替品である。
- 参考スコア（独自算出の注目度）: 8.474499735692282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion Transformers (DiTs) have become a common backbone for high-quality text-to-image and text-to-video generation, but repeated dense self-attention remains a major inference bottleneck as token sequences grow and the same operator is invoked across many denoising steps. Our study suggests that dense attention in pretrained DiTs contains reusable layer/head-specific high-mass structure that can be identified from a small offline calibration set and reused across future generations. This leads to Sink-Sparse Hybrid Attention, a train-free attention replacement that reuses static sink masks and supplements them with a lightweight pooled-KV branch, while leaving model weights and sampling schedules unchanged. On Wan2.1-T2V-1.3B, the method attains 1.54$\times$ end-to-end speedup while maintaining generation quality. On Z-Image-Turbo, it attains 1.57$\times$ end-to-end speedup with competitive GenEval2 performance. These results indicate that reusable importance-aware sparse support can provide an effective train-free acceleration path for both T2V and T2I DiTs.
- Abstract（参考訳）: 拡散トランスフォーマー(DiT)は高品質のテキスト・ツー・画像生成やテキスト・ツー・ビデオ生成において共通のバックボーンとなっているが、トークン・シーケンスが増加し、同じ演算子を多くのデノナイズ・ステップで呼び出すにつれ、繰り返しの密集した自己アテンションが大きな推論ボトルネックとなっている。
本研究は, 事前訓練したDiTにおいて, 小型のオフラインキャリブレーションセットから同定し, 将来の世代にまたがって再利用できる再利用可能な層/頭比高質量構造を含むことを示唆する。
これにより、Sink-Sparse Hybrid Attentionは、スタティックシンクマスクを再利用し、軽量のプール付きKVブランチで補足し、モデルウェイトとサンプリングスケジュールを変更せずに、列車なしのアテンション・アテンションの代替となる。
Wan2.1-T2V-1.3Bでは、生成品質を維持しながら1.54$\times$ end-to-endのスピードアップを達成する。
Z-Image-Turboでは、競合するGenEval2のパフォーマンスで1.57$\times$ end-to-endのスピードアップを達成した。
これらの結果から,T2VとT2I DiTの双方に対して,再利用可能な重要度を考慮したスパースサポートは,列車不要加速経路として有効であることが示唆された。
関連論文リスト
- GRACE: Generation-aware latent compression for efficient video generation [34.754240394952326]
本稿では、事前訓練されたDiTと互換性を維持しつつ、事前訓練されたビデオオートエンコーダを圧縮する2段階のフレームワークを提案する。
具体的には、予め訓練したエンコーダから凍結したベース潜水器を保持し、強い圧縮下で失われた情報に対する残留潜水器を学習する。
次に、Ditを軽量な微調整と非対称なデノナイジングで調整し、ベースを残差より先にデノナイジングする。
論文 参考訳（メタデータ） (2026-10-07T17:57:34Z) - MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers [51.6540025252929]
スパースアテンション(Sparse attention)は、長周期生成タスクにおける拡散変圧器の遅延を低減するための主要なアプローチである。
同様のクエリをタイル型グループに整理しながら,個々のキー値(KV)トークンを選択するトレーニングフリーフレームワークであるMeta-Cached Sparse Attention (MC-Sparse)を提案する。
目に見える品質劣化を伴わずに、高密度アテンション出力に対する忠実度を達成し、既存のスパースアテンションベースラインよりも大きなデノナイジングスピードアップを実現する。
論文 参考訳（メタデータ） (2026-10-05T17:51:42Z) - Structured Residual Connectivity Matters for Diffusion Transformers [91.88563792356344]
Diffusion Transformers (DiTs) は、高忠実度画像合成のためのスケーラブルなバックボーンとしての地位を確立している。
本稿では,DiTの残差接続を画像復調に最適化した能動的検索機構に変換することを提案する。
論文 参考訳（メタデータ） (2026-09-27T04:42:36Z) - TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。
LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。
完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
論文 参考訳（メタデータ） (2026-08-25T15:09:02Z) - Opto-ViT-v2: Noise-Resilient On-Chip Fine-Tuning for Photonic Near-Sensor Vision Transformer Accelerators [11.18455138929931]
近接センサSiPh ViT加速器におけるパラメータ効率向上のための第1のフレームワークであるOpto-ViT-v2を提案する。
我々のテンソル化低ランク分解は、トレーニング可能な電子要素の小さなセットから事前訓練された光学重みを分離する。
また、フォトニックオンチップトレーニングのための最初のシステムレベルのノイズモデルも開発する。
論文 参考訳（メタデータ） (2026-07-20T01:07:20Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。
N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
論文 参考訳（メタデータ） (2026-05-13T08:46:17Z) - Elastic Diffusion Transformer [32.62353162897611]
Diffusion Transformer (DiT) は優れた生成能力を示したが、計算コストは高い。
適応加速度フレームワークである textbfElastic Diffusion Transformer (E-DiT) を提案する。
論文 参考訳（メタデータ） (2026-02-15T05:19:17Z) - RatioWaveNet: A Learnable RDWT Front-End for Robust and Interpretable EEG Motor-Imagery Classification [1.4069478981641936]
本稿では、トレーニング可能なRationally-Dilated Wavelet Transformフロントエンドで、強力な時間的CNN-Transformerバックボーンを増強するRatioWaveNetを提案する。
我々のゴールは、この原理化されたウェーブレットフロントエンドが、BCIが通常失敗するところのロバスト性を改善するかどうかをテストすることである。
論文 参考訳（メタデータ） (2025-10-22T14:04:03Z) - Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers [24.105473321347894]
本稿では,ビデオ拡散変換器(vDiT)の空間加速度フレームワークであるSparse-vDiTを提案する。
Sparse-vDiT が 2.09$times$, 2.38$times$, 1.67$times$理論 FLOP 還元, 1.76$times$, 1.85$times$, 1.58$times$ をそれぞれ達成していることを示す。
我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。
論文 参考訳（メタデータ） (2025-06-03T16:42:37Z) - Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。
DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。
我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
論文 参考訳（メタデータ） (2024-11-26T17:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。