論文の概要: Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification

• arxiv url: http://arxiv.org/abs/2607.24027v1
• Date: Mon, 27 Jul 2026 05:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.324938
• Title: Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification
• Title（参考訳）: Sol-Attn:On-the-Fly Attention Sparsificationによるビデオ生成の高速化
• Abstract要約: トレーニング不要なダイナミックスパースアテンションは、選択されたキー値ブロックのみを演算することでボトルネックを軽減する。 トレーニング不要なSol-Attnを導入し、1つのオンラインソフトマックスパスで動的ルーティング、スパース計算、近似補正を統一する。
• 参考スコア（独自算出の注目度）: 40.871125398000544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion transformers are essential for high-fidelity video generation, but long token sequences make attention a dominant inference bottleneck. Training-free dynamic sparse attention alleviates this bottleneck by computing only selected key-value blocks, yet existing methods struggle to sparsify attention both efficiently and accurately for two reasons: (1) Rigid, unpredictable, and costly routing: selecting a fixed fraction of top-ranked blocks by proxy score imposes fixed budgets, whereas retaining blocks to reach a target cumulative proxy probability mass yields dynamic but potentially imbalanced budgets; both incur non-negligible overhead from computing and materializing proxy scores. (2) Lossy keep-or-drop sparsification: unselected blocks are discarded entirely, degrading accuracy under aggressive sparsity. These limitations motivate cheaper dynamic-budget routing while limiting accuracy degradation. In this paper, we introduce training-free Sol-Attn (Sparsifying online attention), which unifies dynamic routing, sparse computation, and approximation correction in a single online-softmax pass, achieving a better accuracy-efficiency trade-off in sparse attention. The core of Sol-Attn is on-the-fly block thresholding with proxy-score reuse, which selects critical blocks by comparing block proxy scores against a threshold during online softmax. This design enables dynamic yet controllable block budgets without materializing the proxy map, while directly reusing the proxy scores of unselected blocks to approximate their contribution. Experiments across image and video generation tasks show that Sol-Attn advances the quality-efficiency frontier of training-free sparse attention, delivering 2.1 times and 2.3 times end-to-end speedups for video generation and editing, respectively, while preserving visual quality.
• Abstract（参考訳）: 拡散変換器は高忠実度ビデオ生成には不可欠であるが、長いトークン列は主要な推論ボトルネックとなる。 トレーニングなしのダイナミックスパース・アテンションは、選択されたキーバリューブロックのみを計算することによってこのボトルネックを緩和するが、既存の手法は、(1) 厳密で予測不可能で、コストのかかるルーティング: プロキシスコアによるトップランクブロックの固定された部分の選択は、固定された予算を課す一方、ターゲットの累積的プロキシ確率の質量は、動的だが不均衡な予算を生み出す。 2) ゆるやかな保持・ドロップスペーシフィケーション: 選択されていないブロックは完全に破棄され, 攻撃的スペーシティー下での精度が低下する。 これらの制限は、精度の低下を抑えながら、より安価な動的予算ルーティングを動機付けます。 本稿では,トレーニング不要なSol-Attn(Sparsifying online attention)を導入し,動的ルーティング,スパース計算,近似補正を単一オンラインソフトマックスパスで統一し,スパースアテンションにおける精度と効率のトレードオフを実現する。 Sol-Attnのコアとなるのは、プロキシスコアの再利用によるオンザフライブロックのしきい値設定である。 この設計は、プロキシマップを具体化せずに動的に制御可能なブロック予算を可能にし、選択されていないブロックのプロキシスコアを直接再利用して、そのコントリビューションを近似する。 画像生成タスクとビデオ生成タスクによる実験により、Sol-Attnはトレーニング不要のスパースアテンションの質効率フロンティアを前進させ、ビデオ生成と編集のエンドツーエンドのスピードアップをそれぞれ2.1倍と2.3倍にし、視覚的品質を保った。

関連論文リスト

• HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention [68.95533683996236]
  トレーニング不要のスパースアテンションは、トレーニングなしで事前トレーニングされたモデルを加速するため、魅力的である。 既存のオンラインのトップ$p$のスパース・アテンションは、マスクの予測に何の費用もかからない。 これら2つの見過ごされた要因は、ビデオDiTにおけるトレーニング不要のスパースアテンションの実践的スピード品質トレードオフを制限していることを示す。
  論文  参考訳（メタデータ） (2026-05-14T07:57:55Z)
• Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation [52.10062792673558]
  自動ストリーミングビデオ拡散モデルを実用化するために、蒸留ベースの加速が基礎となっている。 既存の方法は、すべてのロールアウト、フレーム、ピクセルを同様に信頼できる監視として扱う。 本稿では,信頼性に配慮したリワード蒸留フレームワークStream-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-05T15:15:30Z)
• Ride the Wave: Precision-Allocated Sparse Attention for Smooth Video Generation [9.132288507881592]
  ビデオ拡散変換器は高忠実度ビデオ生成に革命をもたらしたが、自己注意の膨大な計算負担に悩まされている。 PASA(Precision-Allocated Sparse Attention)は,高効率かつ時間的にスムーズなビデオ生成を目的としたトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2026-04-14T02:51:52Z)
• S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation [22.303253139413286]
  ブロック拡散言語モデルはブロックワイド自己回帰復号とブロック内並列復号を結合する。 この問題に対処する既存のアプローチでは、追加のトレーニングが必要か、追加のテストタイム計算が必要になります。 ブロック拡散言語モデルのための訓練不要な自己投機的デコーディングフレームワークであるS2D2を提案する。
  論文  参考訳（メタデータ） (2026-03-26T17:48:50Z)
• AdaSpot: Spend Resolution Where It Matters for Precise Event Spotting [59.31340724915079]
  イベントスポッティングは、スポーツ分析、ロボティクス、自律システムにおけるアプリケーションにとって重要なタスクである。 bfAdaSpotは厳格な評価基準の下で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-25T16:24:48Z)
• DSB: Dynamic Sliding Block Scheduling for Diffusion LLMs [17.284485483927448]
  拡散大言語モデル(dLLM)は、テキスト生成の有望な代替手段として登場した。 広く使われている固定ブロック (naive) スケジュールは意味的難易度に非依存であり、品質と効率の両面での準最適戦略である。 本研究では,動的ブロックの剛性を克服するため,動的サイズを有するスライディングブロックを用いて,トレーニング不要なブロックスケジューリング手法であるDynamic Sliding Block (DSB)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:41:38Z)
• PISA: Piecewise Sparse Attention Is Wiser for Efficient Diffusion Transformers [37.401543107035046]
  拡散変換器はビデオおよび画像生成に基本となるが、その効率は注意の二次的複雑さによってボトルネックとなる。 PISA(Piecewise Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T07:47:06Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• ProxyAttn: Guided Sparse Attention via Representative Heads [59.03412871683236]
  より正確なブロック推定を実現する訓練不要なスパースアテンションアルゴリズムであるProxyAttnを提案する。 本稿では,ProxyAttnが最大10.3倍の注意加速度と2.4倍の事前充足加速度を実現できることを示す。
  論文  参考訳（メタデータ） (2025-09-29T13:10:39Z)
• Sortblock: Similarity-Aware Feature Reuse for Diffusion Model [9.749736545966694]
  Diffusion Transformer (DiTs) は顕著な生成能を示した。 DiTのシーケンシャルな denoising プロセスは、高い推論遅延をもたらす。 トレーニング不要な推論アクセラレーションフレームワークであるSoltblockを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:10:54Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。