論文の概要: SCOPE: Subspace Clustering with Online Per-Head Top-K Estimation for Sparse Video Attention

• arxiv url: http://arxiv.org/abs/2608.12780v1
• Date: Thu, 13 Aug 2026 03:43:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.384835
• Title: SCOPE: Subspace Clustering with Online Per-Head Top-K Estimation for Sparse Video Attention
• Title（参考訳）: SCOPE:Sparse Video AttentionのためのオンライントップK推定機能付きサブスペースクラスタリング
• Abstract要約: SCOPEは、ビデオDiT推論のためのトレーニング不要なスパースアテンションフレームワークである。 3D-RoPE対応のキーサブスペースと、オンラインクラスタリングのTop-$k$の推定を組み合わせたものだ。 SCOPEは、忠実さとレイテンシの両方において、既存のトレーニング不要のベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 27.426483415833072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) incur quadratic self-attention cost over spatiotemporal tokens. Existing training-free sparse attention methods often construct sparse masks from block-level or cluster-level proxy scores, which can obscure fine-grained differences among keys and miss high contribution keys under aggressive sparsity. Moreover, such proxy scores may yield overly concentrated softmax distributions, causing Top-$p$ to retain too few keys for some query clusters. Although a fixed Top-$k$ minimum alleviates this failure mode, a shared value cannot adapt to variations across heads and inputs. To address both limitations, we propose SCOPE, a training-free sparse attention framework that combines 3D-RoPE-aligned key subspace clustering with online per-head Top-$k$ estimation for efficient video-DiT inference. SCOPE partitions post-RoPE keys into temporal, height, and width subspaces, clusters them independently, and aggregates the corresponding centroid scores through lookup tables to obtain per key proxy scores for each query cluster. Building on existing hybrid Top-$p$/fixed Top-$k$ selection, SCOPE derives a head-specific Top-$k$ value online by averaging the initial retained key counts within each head, weighted by query cluster size, and selects additional keys only for query clusters whose initial retained key counts fall below this value. Sparse attention is then computed over the selected original keys and values. Across six model--task configurations, SCOPE consistently outperforms existing training-free baselines in both fidelity and latency, achieving up to a $1.99\times$ end-to-end speedup on 720p HunyuanVideo with $28.46$ dB PSNR relative to dense attention.
• Abstract（参考訳）: 拡散変換器(DiT)は時空間トークンよりも2次自己注意コストがかかる。 既存のトレーニング不要なスパースアテンション手法は、しばしばブロックレベルまたはクラスタレベルのプロキシスコアからスパースマスクを構築する。 さらに、このようなプロキシスコアは、過度に集中したソフトマックス分布をもたらす可能性があるため、Top-$p$は、クエリクラスタのキーが少なすぎる。 固定されたTop-$k$最小値はこの障害モードを緩和するが、共有値はヘッドとインプットのバリエーションに適応できない。 そこで我々は,3D-RoPE対応のキーサブスペースクラスタリングとオンラインのTop-$k$推定を併用した,効率的なビデオDiT推論のためのトレーニング不要なスパースアテンションフレームワークSCOPEを提案する。 SCOPEは、ポストRoPEキーを時間、高さ、幅のサブスペースに分割し、個別にクラスタ化し、ルックアップテーブルを通じて対応するセントロイドスコアを集約し、クエリクラスタ毎にキープロキシスコアを取得する。 SCOPEは、既存のハイブリッドなTop-$p$/fixed Top-$k$選択に基づいて、ヘッド固有のTop-$k$値をオンラインに導出する。 その後、選択された元のキーと値に対してスパースアテンションが計算される。 SCOPEは6つのモデルタスク構成で、既存のトレーニング不要のベースラインを忠実さとレイテンシの両方で一貫して上回り、720pのHunyuanVideoで最大1.99\times$ end-to-endのスピードアップを達成した。

関連論文リスト

• ClusterAttention: A training-free speedup of bidirectional attention [0.0]
  ClusterAttentionは、双方向のアテンションレイヤのトレーニング不要なスピードアップである。 大規模データでは、ClusterAttentionはTabPFN-3 arXiv:2605.13986を2倍から6倍高速化する。
  論文  参考訳（メタデータ） (2026-08-27T11:04:41Z)
• DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation [0.0]
  改良された低ランクKVキャッシュ圧縮フレームワークを提案する。 提案手法は,競合精度を維持しつつ,キーキャッシュパラメータの数を削減できることを示す。
  論文  参考訳（メタデータ） (2026-07-27T12:08:56Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• Multipole Semantic Attention: A Fast Approximation of Softmax Attention for Pretraining [36.70261826975876]
  ソフトマックスアテンションの効率的な近似であるmultipole Semantic Attention (MuSe)を提案する。 本手法は,クエリとキーを個別にクラスタリングすることで,コンテクスト長の変換器の2次計算複雑性に対処する。 因果的注意を喚起するために、正確な局所計算と効率的な長距離近似を組み合わせた階層的ブロック分解を開発する。
  論文  参考訳（メタデータ） (2025-09-12T16:58:17Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Order-Optimal Regret in Distributed Kernel Bandits using Uniform Sampling with Shared Randomness [9.731329071569018]
  我々はN$エージェントが未知の報酬関数を協調的に最大化する分散カーネルの帯域を考える。 我々は,通信コストが$N$と$T$に比例する,最適な後悔順序を達成するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-20T17:49:10Z)
• Revisiting Foreground and Background Separation in Weakly-supervised Temporal Action Localization: A Clustering-based Approach [48.684550829098534]
  弱教師付き時間的アクションローカライゼーションは、アクションインスタンスをビデオレベルのアクションラベルのみでローカライズすることを目的としている。 クラスタリングに基づく新しいF&B分離アルゴリズムを提案する。 我々は,THUMOS14,ActivityNet v1.2,v1.3の3つのベンチマークで評価を行った。
  論文  参考訳（メタデータ） (2023-12-21T18:57:12Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks [53.88811980967342]
  本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。 ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。 6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
  論文  参考訳（メタデータ） (2022-06-01T09:51:38Z)
• Overcomplete Deep Subspace Clustering Networks [80.16644725886968]
  4つのベンチマークデータセットの実験結果から,クラスタリング誤差の観点から,DSCや他のクラスタリング手法に対する提案手法の有効性が示された。 また,本手法は,最高の性能を得るために事前学習を中止する点にDSCほど依存せず,騒音にも頑健である。
  論文  参考訳（メタデータ） (2020-11-16T22:07:18Z)
• Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation [95.72606536493548]
  複数の人の身体のキーポイントを同時にローカライズするため、複数の人物のポーズ推定は困難である。 ボトムアップ型多人数ポーズ推定タスクにおけるグラフグループ化を学習するための,新しい微分可能な階層グラフグループ化(HGG)手法を提案する。
  論文  参考訳（メタデータ） (2020-07-23T08:46:22Z)
• Fast Transformers with Clustered Attention [14.448898156256478]
  本稿では,クエリ毎の注目度を計算する代わりに,クエリをクラスタにグループ化し,セントロイドのみの注意度を算出するクラスタ型注意度を提案する。 これにより、固定数のクラスタのシーケンス長に対する線形複雑性を持つモデルが得られる。 我々は,2つの自動音声認識データセットに対するアプローチを評価し,そのモデルが与えられた計算予算に対して常にバニラ変換器より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T14:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。