論文の概要: PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.38978v1
• Date: Wed, 30 Sep 2026 04:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.194358
• Title: PARK: Accurate Block Retrieval for Sparse Attention in Video Diffusion Transformers
• Title（参考訳）: PARK:ビデオ拡散変換器におけるスパース注意のための正確なブロック検索
• Abstract要約: 精度の高いブロック検索のための訓練不要なスパースアテンション手法であるPARKを提案する。 Parkは元のクエリをすべて保持し、キーブロックに対して独立して注意を正規化し、各クエリブロック内でそれらを平均化する。 パークは、比較されたまばらな注意方法の中で、最高の品質と効率のトレードオフを実現している。
• 参考スコア（独自算出の注目度）: 25.164758560916507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) have become a dominant architecture for video generation, but their efficiency is limited by the quadratic complexity of full attention. Sparse attention reduces this cost by retrieving important blocks and computing attention only within them, but inaccurate retrieval can either degrade generation quality or yield unnecessary computation. We identify two retrieval mismatches in methods that retrieve blocks using the averaged representations of query and key blocks: (i) query-side aggregation mismatch, where averaging queries before Softmax fails to preserve their individual attention preferences, and (ii) key-side clustering metric mismatch, where standard Euclidean clustering in the original key space can group keys with dissimilar QK scores under the current query, so their average representation may not accurately represent how the current query scores individual keys. These mismatches can lead to inaccurate block retrieval. To address these mismatches, we propose PARK, a training-free sparse attention method for accurate block retrieval. PARK retains every original query, independently normalizes its attention over key blocks, and then averages these distributions within each query block. It also uses information from the current queries to transform keys before clustering, so that keys receiving similar QK scores are grouped together. A fused GPU kernel further reduces the overhead of block retrieval. Experiments on HunyuanVideo and Wan demonstrate that PARK improves block retrieval accuracy and preserves generation quality while accelerating inference, achieving the best quality-efficiency trade-off among the compared sparse attention methods.
• Abstract（参考訳）: 拡散変換器(DiT)はビデオ生成において支配的なアーキテクチャとなっているが、その効率は注意の二次的複雑さによって制限されている。 スパース・アテンションは、重要なブロックを検索し、それら内でのみ注意を計算することによって、このコストを削減するが、不正確な検索は、生成品質を劣化させるか、不要な計算をもたらす可能性がある。 クエリとキーブロックの平均表現を用いて,ブロックを検索する手法において,2つの検索ミスマッチを同定する。 i) 問合せ側のアグリゲーションミスマッチ。 (i)キー側クラスタリングメトリックミスマッチでは、元のキー空間における標準ユークリッドクラスタリングが、異なるQKスコアでキーをグループ化できるため、その平均表現は、現在のクエリが個々のキーをどのようにスコアするかを正確に表現できない。 これらのミスマッチは、不正確なブロック検索につながる可能性がある。 これらのミスマッチに対処するために,高精度なブロック検索のための訓練不要なスパースアテンション手法PARKを提案する。 PARKは元のクエリをすべて保持し、キーブロックに対して独立して注意を正規化し、各クエリブロック内でこれらの分散を平均化する。 また、クラスタ化前に現在のクエリからの情報を使用してキーを変換するので、同様のQKスコアを受け取るキーがグループ化される。 融合GPUカーネルは、ブロック検索のオーバーヘッドをさらに削減する。 HunyuanVideoとWanの実験では、PARKはブロックの取得精度を改善し、推論を加速しながら生成品質を保ち、比較対象のスパースアテンション手法の中で最高の品質効率トレードオフを実現する。

関連論文リスト

• SCOPE: Subspace Clustering with Online Per-Head Top-K Estimation for Sparse Video Attention [27.426483415833072]
  SCOPEは、ビデオDiT推論のためのトレーニング不要なスパースアテンションフレームワークである。 3D-RoPE対応のキーサブスペースと、オンラインクラスタリングのTop-$k$の推定を組み合わせたものだ。 SCOPEは、忠実さとレイテンシの両方において、既存のトレーニング不要のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-13T03:43:31Z)
• GoldenRetriever: Non-Interactive Homomorphic Encrypted Retrieval for Privacy-Preserving RAG [20.647970767787225]
  しきい値選択に基づくRAGのための非対話型暗号化検索フレームワークを提案する。 我々の方法では、暗号化の下で高価なトップ$ランク付けを行う代わりに、類似性のスコアが予め定義された閾値を超える文書を選択する。 その結果、スケーラブルでセキュアなRAGシステムのための実用的な基盤として、しきい値ベースの選択が強調された。
  論文  参考訳（メタデータ） (2026-07-31T04:44:24Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Decomposing Query-Key Feature Interactions Using Contrastive Covariances [75.38737409771085]
  クエリとキー間の双方向のジョイント埋め込み空間であるクエリキー空間について検討する。 キーとクエリの機能がこれらの低ランクのサブスペースに整列して、高い注目スコアが生成されるときです。
  論文  参考訳（メタデータ） (2026-02-04T16:50:02Z)
• Block Sparse Flash Attention [29.499030734003952]
  Block-Sparse FlashAttentionはFlashAttentionの代替になる。 クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。 実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
  論文  参考訳（メタデータ） (2025-12-07T21:20:12Z)
• Inference-time sparse attention with asymmetric indexing [23.305984099821618]
  トランスモデルの自己アテンションは、キーベクトルを値ベクトルにマッピングするインクリメンタルな連想メモリである。 自己注意の高速化の1つの方法は、k-meansのような標準的なパーティショニング手法に基づいたGPU互換のベクトル探索アルゴリズムを採用することである。 本稿ではこれらの問題を克服したSaapを紹介する。 非対称な索引付け手法で、キーとクエリのパーティションを区別し、データ適応型スパーシティパターンで自己アテンションを近似する。
  論文  参考訳（メタデータ） (2025-02-12T09:39:54Z)
• CritiPrefill: A Segment-wise Criticality-based Approach for Prefilling Acceleration in LLMs [8.649971923487835]
  本稿では,CritiPrefillを提案する。 CritiPrefillは、入力シーケンスのクエリとKVキャッシュをセグメントとブロックに分割する。 複数の長コンテキストデータセットの大規模な評価では、Llama3-8Bで2.7倍、Yi-9Bで3.0倍、単一のA100 GPUで128Kのコンテキスト長を持つ。
  論文  参考訳（メタデータ） (2024-09-19T06:09:56Z)
• DREW : Towards Robust Data Provenance by Leveraging Error-Controlled Watermarking [58.37644304554906]
  誤り訂正符号と透かしを用いたデータ検索法(DREW)を提案する。 DREWはランダムに参照データセットをクラスタ化し、各クラスタに独自のエラー制御された透かしキーを注入する。 関連するクラスタを特定した後、最も正確な一致を見つけるために、クラスタ内に埋め込みベクトル類似性検索を行う。
  論文  参考訳（メタデータ） (2024-06-05T01:19:44Z)
• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。