論文の概要: VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
- arxiv url: http://arxiv.org/abs/2609.15810v1
- Date: Mon, 14 Sep 2026 16:17:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 12:40:38.852441
- Title: VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
- Title（参考訳）: VC-Attention:低ビットアテンションのための価値平滑化とソフトマックスキャスティング
- Abstract要約: トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
- 参考スコア（独自算出の注目度）: 47.30761996669105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Transformers deliver state-of-the-art video generation, but their long spatiotemporal sequences make attention the dominant deployment cost, and a deployable low-bit kernel must be accurate and fast. Accuracy is limited by outliers: a block's quantization scale is set by its largest entries, leaving typical entries confined to a narrow range of representable values. Prior work smooths queries and keys, but value outliers follow no fixed channel or spatiotemporal structure and remain the dominant source of output error. Speed is limited by softmax: low-bit Tensor Cores accelerate only the two matrix multiplications, so the high-precision exponential between them becomes the longest pipeline stage on datacenter GPUs. We propose VC-Attention, a training-free low-bit attention framework that addresses both by pairing Value smoothing with a fused probability Cast. V-Smooth reorders value tokens by lightweight online clustering, so the tokens in a hardware block quantize well together. It quantizes only the residual after subtracting the block mean, and restores that mean from the row sum the online softmax already maintains. ExpCast-FP8 maps log-domain scores directly to E4M3 probability codes with one fused multiply-add, eliminating the FP32 exponential and the format conversion. We implement VC-Attention for B200, B300, H200, RTX PRO 6000, and RTX 5090. Across Wan2.2, LongCat-Video, HunyuanVideo-1.5, and MiniMax-H3, VC-Attention improves fidelity over low-bit baselines, speeds up the attention kernel over BF16 FlashAttention-4 by 1.46-1.59x on datacenter Blackwell and Hopper and by 2.3-3.6x on workstation cards, and generates a clip 1.13-1.19x and 1.36-1.70x faster end to end.
- Abstract（参考訳）: 拡散トランスフォーマーは最先端のビデオ生成を提供するが、その長い時空間シーケンスは、デプロイコストの優位性に注目し、デプロイ可能なロービットカーネルは正確かつ高速でなければならない。
ブロックの量子化スケールはその最大のエントリによって設定され、典型的なエントリは表現可能な値の狭い範囲に限定される。
以前の作業はクエリやキーをスムースにしますが、値のアウトレイアは固定チャネルや時空間構造に従わず、出力エラーの主流のソースのままです。
低ビットテンソルコアは2つの行列乗算のみを加速するので、その間の高速指数はデータセンターGPU上で最長のパイプラインステージとなる。
本稿では,VC-Attentionを提案する。VC-Attentionは,ペアリング値スムーシングと融合確率キャストの両方に対処する,トレーニングフリーの低ビットアテンションフレームワークである。
V-Smoothは、軽量なオンラインクラスタリングによってバリュートークンを並べ替える。
ブロック平均を減算した後、残余のみを定量化し、オンラインソフトマックスが維持している行和からその平均を復元する。
ExpCast-FP8は、ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
我々は,B200,B300,H200,RTX PRO 6000,RTX 5090のVC-Attentionを実装した。
Wan2.2、LongCat-Video、HunyuanVideo-1.5、MiniMax-H3にまたがって、VC-Attentionは低ビットのベースライン上での忠実さを改善し、BF16 FlashAttention-4を1.46-1.59x、データセンターのBlackwellとHopperで2.3-3.6x、ワークステーションカードで2.3-3.6x、そして1.13-1.19xと1.36-1.70xの高速化を実現した。
関連論文リスト
- EFQ-Softmax: Exp-Free Quantization for Softmax [3.5456060266135734]
低ビットアテンションは、$QKtop$と$PV$の行列乗算をFP8またはFP4マトリクスエンジンに移動させることでトランスフォーマー推論を加速させる。
ソフトマックスパスはしばしばシフトスコア指数を高い精度で評価し、一時的な確率ブロックを形成し、低ビット$PV$乗算の前に量子化する。
ブロックスケールのE2M1オペランドに注目スコアを直接マップする低ビット確率生成法EFQ-Softmaxを提案する。
論文 参考訳（メタデータ） (2026-09-09T05:04:33Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - VFA: Relieving Vector Operations in Flash Attention with Global Maximum Pre-computation [5.279829639786756]
FlashAttentionスタイルのオンラインソフトマックスは、線形メモリによる正確な注意計算を可能にする。
オンラインソフトマックスの非マルチコンポーネントはベクトルまたはSIMD制限となり、遅延が支配的になる。
本稿では,Vector Relieved Flash Attention (VFA)を提案する。
論文 参考訳（メタデータ） (2026-04-14T14:28:50Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling [20.849774181776414]
FlashAttention-4はcuDNN 9.13で最大1.3$times$、BF16でB200 GPUで2.7$times$Tritonで最大2.7$times$を達成している。
従来のC++テンプレートベースのアプローチと比較して20～30$times$高速なコンパイルタイムを実現しています。
論文 参考訳（メタデータ） (2026-03-05T18:24:49Z) - IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference [11.526305104815357]
IntAttentionは、最初の完全整数型、プラグイン・アンド・プレイアテンションパイプラインで、再トレーニングは行わない。
IntAttentionは、スペーサリティ対応クリッピング、32エントリルックアップテーブル近似、直接整数正規化を統合している。
提案手法は,ARMv8 CPU上の従来のINT8アテンションパイプラインよりも最大3.7倍,FP16ベースラインより61%のエネルギー削減を実現している。
論文 参考訳（メタデータ） (2025-11-26T15:46:22Z) - VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。
私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
論文 参考訳（メタデータ） (2025-05-19T17:30:13Z) - Speedy MASt3R [68.47052557089631]
MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。
高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。
この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
論文 参考訳（メタデータ） (2025-03-13T03:56:22Z) - FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision [14.426543629408984]
注意は、大きな言語モデルと長いコンテキストアプリケーションのボトルネックです。
我々はGPUに注意を向ける3つの主要な技術を開発した。
提案手法であるFlashAttention-3は,FP16が最大740 TFLOPs/s(75%利用)に達し,FP8が1.2 PFLOPs/sに到達して,H100 GPU上で1.5-2.0$timesの高速化を実現していることを示す。
論文 参考訳（メタデータ） (2024-07-11T15:44:48Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳（メタデータ） (2023-10-05T03:47:57Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。