論文の概要: AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation

• arxiv url: http://arxiv.org/abs/2604.18348v1
• Date: Mon, 20 Apr 2026 14:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.941366
• Title: AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation
• Title（参考訳）: AdaCluster: ビデオ生成におけるスパースアテンションのためのアダプティブクエリキークラスタリング
• Authors: Haoyue Tan, Shengnan Wang, Yulin Qiao, Juncheng Zhang, Youhui Bai, Ping Gong, Zewen Jin, Cheng Li,
• Abstract要約: ビデオ拡散変換器(DiT)は、二次的注意の複雑さにより、推論の禁止遅延に悩まされる。 トレーニング不要なアダプティブクラスタリングフレームワークであるAdaClusterを提案する。 1つのA40 GPU上でのCagVideoX-2B、HunyuanVideo、Wan-2.1の実験では、1.67-4.31xのスピードアップが無視できる品質劣化を示す。
• 参考スコア（独自算出の注目度）: 9.162823040512645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video diffusion transformers (DiTs) suffer from prohibitive inference latency due to quadratic attention complexity. Existing sparse attention methods either overlook semantic similarity or fail to adapt to heterogeneous token distributions across layers, leading to model performance degradation. We propose AdaCluster, a training-free adaptive clustering framework that accelerates the generation of DiTs while preserving accuracy. AdaCluster applies an angle-similarity-preserving clustering method to query vectors for higher compression, and designs a euclidean-similarity-preserving clustering method for keys, covering cluster number assignment, threshold-wise adaptive clustering, and efficient critical cluster selection. Experiments on CogVideoX-2B, HunyuanVideo, and Wan-2.1 on one A40 GPU demonstrate up to 1.67-4.31x speedup with negligible quality degradation.
• Abstract（参考訳）: ビデオ拡散変換器(DiT)は、二次的注意の複雑さにより、推論の禁止遅延に悩まされる。 既存のスパースアテンションメソッドはセマンティックな類似性を見落としているか、レイヤ間の異質なトークン分布に適応できないかのいずれかで、モデルパフォーマンスの劣化につながる。 トレーニング不要な適応クラスタリングフレームワークであるAdaClusterを提案する。 AdaClusterは、高い圧縮のためにベクトルを問合せするために角度相似性保存クラスタリング法を適用し、鍵のユークリッド相似性保存クラスタリング法を設計し、クラスタ数割り当て、しきい値順応性クラスタリング、効率的な臨界クラスタ選択をカバーした。 1つのA40 GPU上でのCagVideoX-2B、HunyuanVideo、Wan-2.1の実験では、1.67-4.31xのスピードアップが無視できる品質劣化を示す。

関連論文リスト

• DiEC: Diffusion Embedded Clustering [0.76629754443761]
  ディープクラスタリングは、明確なクラスタ構造を公開する表現に依存します。 従来のほとんどのメソッドは、オートエンコーダや自己教師付きエンコーダによる単一の埋め込みを学び、クラスタリングの第一の表現として扱う。 本研究では,事前学習した拡散U-Netの中間活性化を直接利用して,この軌道を利用する教師なしクラスタリングフレームワークであるEmbed Diffusion Clustering (DiEC)を提案する。
  論文  参考訳（メタデータ） (2025-12-24T03:10:00Z)
• You Can Trust Your Clustering Model: A Parameter-free Self-Boosting Plug-in for Deep Clustering [73.48306836608124]
  DCBoostはパラメータフリーのプラグインで、現在のディープクラスタリングモデルのグローバルな特徴構造を強化するように設計されている。 本手法は, クラスタリング性能を効果的に向上することを目的としている。
  論文  参考訳（メタデータ） (2025-11-26T09:16:36Z)
• Towards Learnable Anchor for Deep Multi-View Clustering [49.767879678193005]
  本稿では,線形時間でクラスタリングを行うDeep Multi-view Anchor Clustering (DMAC)モデルを提案する。 最適なアンカーを用いて、全サンプルグラフを計算し、クラスタリングのための識別的埋め込みを導出する。 いくつかのデータセットの実験では、最先端の競合に比べてDMACの性能と効率が優れていることが示されている。
  論文  参考訳（メタデータ） (2025-03-16T09:38:11Z)
• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Deep Embedding Clustering Driven by Sample Stability [16.53706617383543]
  サンプル安定性(DECS)により駆動されるディープ埋め込みクラスタリングアルゴリズムを提案する。 具体的には、まずオートエンコーダで初期特徴空間を構築し、次にサンプル安定性に制約されたクラスタ指向の埋め込み機能を学ぶ。 5つのデータセットに対する実験結果から,提案手法は最先端のクラスタリング手法と比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-01-29T09:19:49Z)
• Stable Cluster Discrimination for Deep Clustering [7.175082696240088]
  ディープクラスタリングは、インスタンスの表現(つまり、表現学習)を最適化し、固有のデータ分散を探索することができる。 結合された目的は、すべてのインスタンスが一様機能に崩壊する、自明な解決策を意味する。 本研究では,1段階クラスタリングにおいて,教師あり学習における一般的な識別タスクが不安定であることを示す。 新規な安定クラスタ識別(SeCu)タスクを提案し、それに応じて新しいハードネス対応クラスタリング基準を得ることができる。
  論文  参考訳（メタデータ） (2023-11-24T06:43:26Z)
• Enhancing Latent Space Clustering in Multi-filter Seq2Seq Model: A Reinforcement Learning Approach [0.0]
  クラスタリングアルゴリズムを用いて潜在空間表現を解析する潜時拡張型マルチフィルタセq2seqモデル (LMS2S) を設計する。 セマンティック解析と機械翻訳の実験により,クラスタリングの品質とモデルの性能の正の相関が示された。
  論文  参考訳（メタデータ） (2021-09-25T16:36:31Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。