Fugu-MT 論文翻訳(概要): ClusterAttention: A training-free speedup of bidirectional attention

論文の概要: ClusterAttention: A training-free speedup of bidirectional attention

arxiv url: http://arxiv.org/abs/2608.26965v1
Date: Thu, 27 Aug 2026 11:04:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.367413
Title: ClusterAttention: A training-free speedup of bidirectional attention
Title（参考訳）: ClusterAttention: 双方向注意のトレーニング不要高速化
Abstract要約: ClusterAttentionは、双方向のアテンションレイヤのトレーニング不要なスピードアップである。大規模データでは、ClusterAttentionはTabPFN-3 arXiv:2605.13986を2倍から6倍高速化する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces ClusterAttention, a general training-free speedup of bidirectional attention layers. Existing sparse attention methods either rely on structure in the input, such as order in language or spatial proximity in images, or use slow clustering processes amortized over several forward passes. ClusterAttention instead uses a fast recursive clustering method that adapts to the geometry of the keys and queries in each attention head to produce useful clusters. This method allows setting the size of the clusters arbitrarily. We utilize this by setting all clusters to be a fixed size that is a power of two, allowing the block-sparse attention to run at the same latency per query-key interaction as dense attention on GPUs. We also derive an expression for the output error in sparse attention, that explains the counterintuitive experimental finding that tight clusters can lead to larger errors than random clusters. We then derive the error when excluded clusters are compensated through their centroids, and show that this error shrinks with tighter clusters. We integrate this compensation into the method. On large-scale tabular data ClusterAttention speeds up TabPFN-3 arXiv:2605.13986 by two to six times, while retaining at least 99% of the dense accuracy. To our knowledge, it is the first training-free method that can be successfully applied in the setting of unstructured input and a single forward pass. For video generation with Wan 2.1-14B T2V arXiv:2503.20314 , ClusterAttention achieves output closer to dense attention and a larger speedup (1.8x versus 1.4x) compared to SVOO arXiv:2603.18636 , a leading method developed specifically for this domain, both run without offline calibration.
Abstract（参考訳）: 本稿では,双方向アテンションレイヤの一般的なトレーニング不要な高速化であるClusterAttentionを紹介する。既存のスパースアテンション手法は、言語順や画像の空間的近接といった入力の構造に依存しているか、あるいはいくつかの前方パスで補正された遅いクラスタリングプロセスを使用する。代わりにClusterAttentionは、各アテンションヘッドのキーとクエリのジオメトリに適応して有用なクラスタを生成する、高速な再帰的クラスタリング手法を使用する。この方法では、クラスタのサイズを任意に設定できる。これを利用して、すべてのクラスタを2のパワーである固定サイズに設定し、クエリキーのインタラクション毎に、GPUに対する集中的な注意と同じレイテンシでブロックスパースな注意を実行できるようにします。また,厳密なクラスタがランダムなクラスタよりも大きなエラーに繋がることを示す,直感的な実験結果として,スパースアテンションにおける出力誤差の式を導出する。次に、除外されたクラスタがセントロイドを通して補償された場合の誤差を導出し、より厳密なクラスタでこのエラーが縮小することを示す。私たちはこの補償をその方法に統合する。大規模な表データでは、ClusterAttentionはTabPFN-3 arXiv:2605.13986を2倍から6倍高速化し、精度の少なくとも99%を維持している。我々の知る限り、非構造化入力と1つのフォワードパスの設定にうまく適用できる最初のトレーニングフリー手法である。 Wan 2.1-14B T2V arXiv:2503.20314 の動画生成では、ClusterAttention は SVOO arXiv:2603.18636 と比較して、集中した注意に近づき、より大きなスピードアップ(1.8x対1.4x)を実現している。

関連論文リスト

AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation [9.162823040512645]
ビデオ拡散変換器(DiT)は、二次的注意の複雑さにより、推論の禁止遅延に悩まされる。トレーニング不要なアダプティブクラスタリングフレームワークであるAdaClusterを提案する。 1つのA40 GPU上でのCagVideoX-2B、HunyuanVideo、Wan-2.1の実験では、1.67-4.31xのスピードアップが無視できる品質劣化を示す。
論文参考訳（メタデータ） (2026-04-20T14:43:36Z)
DiEC: Diffusion Embedded Clustering [0.76629754443761]
ディープクラスタリングは、明確なクラスタ構造を公開する表現に依存します。従来のほとんどのメソッドは、オートエンコーダや自己教師付きエンコーダによる単一の埋め込みを学び、クラスタリングの第一の表現として扱う。本研究では,事前学習した拡散U-Netの中間活性化を直接利用して,この軌道を利用する教師なしクラスタリングフレームワークであるEmbed Diffusion Clustering (DiEC)を提案する。
論文参考訳（メタデータ） (2025-12-24T03:10:00Z)
Measures of Overlapping Multivariate Gaussian Clusters in Unsupervised Online Learning [0.0]
データストリームからのオンライン学習の目的は、時間とともに適応可能なクラスタリング、分類、回帰モデルを作成することだ。クラスタリングの場合、多くのクラスタが重複し、マージされる可能性がある。提案した相似性測定は,相似性ではなく重なりを検出するように設計されている。
論文参考訳（メタデータ） (2025-08-21T11:06:02Z)
Scalable Context-Preserving Model-Aware Deep Clustering for Hyperspectral Images [51.95768218975529]
ハイパースペクトル画像(HSI)の教師なし解析にサブスペースクラスタリングが広く採用されている。近年のモデル対応深層空間クラスタリング手法では、O(n2)の複雑性を持つ自己表現行列の計算とスペクトルクラスタリングを含む2段階のフレームワークを用いることが多い。本稿では,HSIクラスタリングを効率的に行うために,局所構造と非局所構造を協調的にキャプチャする,ベース表現に基づく拡張性のあるコンテキスト保存深層クラスタリング手法を提案する。
論文参考訳（メタデータ） (2025-06-12T16:43:09Z)
Guaranteed Recovery of Unambiguous Clusters [7.011239860967789]
クラスタリングは、しばしば難しい問題である。なぜなら、それは、"正しい"クラスタリングがどうあるべきかに固有の曖昧さのためである。本稿は,クラスタ内の2つの高密度領域が,K$clusteringの2つの真に異なるクラスタよりも,2つの異なるクラスタのように見えるほど分離可能な状況について定式化する。
論文参考訳（メタデータ） (2025-01-22T18:51:25Z)
Clustering Based on Density Propagation and Subcluster Merging [92.15924057172195]
本稿では,クラスタ数を自動的に決定し,データ空間とグラフ空間の両方に適用可能な密度に基づくノードクラスタリング手法を提案する。二つのノード間の距離を計算する従来の密度クラスタリング法とは異なり,提案手法は伝播過程を通じて密度を決定する。
論文参考訳（メタデータ） (2024-11-04T04:09:36Z)
Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
論文参考訳（メタデータ） (2023-08-13T18:12:28Z)
Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。本稿では,データ拡張を必要としない手法を提案する。
論文参考訳（メタデータ） (2023-03-29T08:23:26Z)
Convex Clustering through MM: An Efficient Algorithm to Perform Hierarchical Clustering [1.0589208420411012]
本稿では,クラスタ融合と高効率更新方式を用いた反復アルゴリズムCCMMによる凸クラスタリングを提案する。現在のデスクトップコンピュータでは、CCMMは、7次元空間に100万以上のオブジェクトを含む凸クラスタリング問題を効率的に解決する。
論文参考訳（メタデータ） (2022-11-03T15:07:51Z)
Self-supervised Contrastive Attributed Graph Clustering [110.52694943592974]
我々は,自己教師型コントラストグラフクラスタリング(SCAGC)という,新たな属性グラフクラスタリングネットワークを提案する。 SCAGCでは,不正確なクラスタリングラベルを活用することで,ノード表現学習のための自己教師付きコントラスト損失を設計する。 OOSノードでは、SCAGCはクラスタリングラベルを直接計算できる。
論文参考訳（メタデータ） (2021-10-15T03:25:28Z)
(k, l)-Medians Clustering of Trajectories Using Continuous Dynamic Time Warping [57.316437798033974]
本研究では,トラジェクトリの集中型クラスタリングの問題について考察する。我々はDTWの連続バージョンを距離測定として使用することを提案し、これをCDTW(Continuous dynamic time warping)と呼ぶ。一連の軌道から中心を計算し、その後反復的に改善する実践的な方法を示す。
論文参考訳（メタデータ） (2020-12-01T13:17:27Z)
Spectral Clustering with Smooth Tiny Clusters [14.483043753721256]
本稿では,データのスムーズさを初めて考慮した新しいクラスタリングアルゴリズムを提案する。私たちのキーとなるアイデアは、スムーズなグラフを構成する小さなクラスタをクラスタ化することです。本稿では,マルチスケールな状況に着目するが,データのスムーズさの考え方はどのクラスタリングアルゴリズムにも確実に拡張できる。
論文参考訳（メタデータ） (2020-09-10T05:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。