論文の概要: TriAttention: Unified Sparse Mixed-Precision Attention for Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2611.07256v1
• Date: Thu, 05 Nov 2026 00:14:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.474413
• Title: TriAttention: Unified Sparse Mixed-Precision Attention for Long-Context LLM Inference
• Title（参考訳）: TriAttention: 長期LLM推論のための統一スパース混合精度アテンション
• Abstract要約: クエリキー(QK)タイルをスキップ,4ビット,あるいは8ビットの計算に割り当てるTriAttentionを導入し,4ビットを用いて量子化-耐性相互作用を低コストで維持する。 実験の結果、TriAttentionはトーチの注意を最大7.88倍、BF16のベースラインを2.65倍まで上回った。
• 参考スコア（独自算出の注目度）: 16.837647774787772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsity and quantization reduce the cost of attention by skipping interactions and lowering the precision of those retained. However, useful interactions differ in their precision requirements: some tolerate low-precision scores while remaining sensitive to removal. We therefore introduce TriAttention, which assigns query-key (QK) tiles to skipping, 4-bit, or 8-bit computation, using 4-bit to retain quantization-tolerant interactions at lower cost. To represent compactly, we encode each head's computation regions with two diagonal-distance boundaries, keeping policy storage independent of context length. Offline calibration then evaluates candidate boundary pairs using normalized projected-output errors and complete-tile execution costs. Using these measurements, a model-wide allocator selects each head's boundaries to minimize calibration error under a shared computation budget. During prefill, the selected boundaries generate precision-grouped traversals for a fused kernel that skips omitted tiles and combines contributions from both QK precisions into one normalized attention output. The quantized keys and values prepared during prefill are then reused in a compressed key-value (KV) cache for decoding, reducing repeated reads of prompt data. Experiments show that TriAttention achieves end-to-end generation speedups of up to 7.88x over the Torch attention and 2.65x over the BF16 baseline. Meanwhile, TriAttention maintains quality comparable to the original models on general-purpose and long-context tasks. These results show how a compact retention-and-precision policy translates local sensitivities into attention computation and repeated KV-cache access. The implementation is https://github.com/HanzhiZhang-Ulrica/TriAttention.
• Abstract（参考訳）: 空間性と量子化は、相互作用をスキップし、保持されているものの精度を下げることで、注意のコストを下げる。 いくつかは除去に敏感なまま、低い精度のスコアを許容する。 そこでTriAttentionを導入し,クエリキー(QK)タイルをスキップ,4ビット,あるいは8ビットの計算に割り当てる。 コンパクトに表現するために、各ヘッドの計算領域を2つの対角距離境界で符号化し、ポリシー記憶を文脈長に依存しないようにした。 オフラインキャリブレーションは、正規化された投影出力エラーと完全タイル実行コストを用いて、候補境界ペアを評価する。 これらの測定値を用いて、モデルワイドアロケータは各ヘッドの境界を選択し、共有計算予算の下でキャリブレーション誤差を最小限に抑える。 プリフィルの間、選択された境界は、省略されたタイルをスキップし、両方のQK精度からのコントリビューションを1つの正規化された注意出力に結合する融合カーネルの精度グループトラバーサルを生成する。 プリフィル時に作成された量子化キーと値は、デコードのために圧縮キー値(KV)キャッシュで再利用され、プロンプトデータの繰り返し読み込みが削減される。 実験の結果、TriAttentionはトーチの注意を最大7.88倍、BF16のベースラインを2.65倍まで上回った。 一方、TriAttentionは汎用タスクや長文タスクのオリジナルのモデルに匹敵する品質を維持している。 これらの結果は、コンパクトな保持・精度ポリシーが、局所的な感度を注意計算と繰り返しKV-cacheアクセスに変換する方法を示している。 実装はhttps://github.com/HanzhiZhang-Ulrica/TriAttentionである。

関連論文リスト

• RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention [47.07332342240102]
  RoLaQは、凍結鍵と値投影によって定義される部分空間内の共有回転を洗練する。 DeepSeek-V2-Liteでは、SGLangの実装は同じメモリ予算でBF16 KVの3.96倍の容量を提供する。
  論文  参考訳（メタデータ） (2026-10-14T16:46:48Z)
• AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation [16.837647774787772]
  本稿では,2次元重みタイルを精度割当,コンパクトストレージ,実行の共通単位として用いた後学習量子化手法AlignQuantを紹介する。 位相正規化スコアは、モデル全体の重量貯蔵予算の下で、いずれのフェーズにおいても重要なタイルの高精度化を優先する。 3Bから14Bのパラメータにまたがる4つのLSMで、AlignQuantはBF16よりも2.50times$ジェネレーションスピードアップを達成している。
  論文  参考訳（メタデータ） (2026-10-05T22:06:04Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
  低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。 トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
  論文  参考訳（メタデータ） (2025-10-25T11:43:27Z)
• VQL: An End-to-End Context-Aware Vector Quantization Attention for Ultra-Long User Behavior Modeling [12.619238878583703]
  大規模レコメンデーションシステムでは、超長期のユーザ行動シーケンスは、進化する関心の豊かなシグナルを符号化する。 超長期動作モデリングのためのコンテキスト対応ベクトル量子化アテンションフレームワークであるVQLを提案する。
  論文  参考訳（メタデータ） (2025-08-23T19:58:18Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Value-Driven Mixed-Precision Quantization for Patch-Based Inference on Microcontrollers [35.666772630923234]
  QuantMCUは、値駆動型混合精度量子化を利用して冗長計算を減らす、パッチベースの新しい推論手法である。 我々は,QuantMCUが平均2.2倍の計算量を削減できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T04:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。