論文の概要: TileMix: Tile-Centric Mixed-Precision Attention for LLM Inference Acceleration
- arxiv url: http://arxiv.org/abs/2608.17336v1
- Date: Tue, 18 Aug 2026 03:53:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.211791
- Title: TileMix: Tile-Centric Mixed-Precision Attention for LLM Inference Acceleration
- Title（参考訳）: TileMix: LLM推論高速化のためのTile-Centric Mixed-Precision Attention
- Abstract要約: 大規模言語モデルの長文プリフィルは、かなりの計算量とメモリトラフィックを発生させる。
本稿では,タイル中心の精度向上カーネルであるTileMixを紹介する。
- 参考スコア（独自算出の注目度）: 16.837647774787772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context prefill in large language models (LLMs) incurs substantial computation and memory traffic because dense self-attention computes quadratic query-key scores. Existing methods either use a uniform low-precision path or select token interactions, leaving spatial precision routing over hardware-aligned score tiles outside fused dense attention. We introduce TileMix, a tile-centric precision-routing kernel that makes numerical precision an executable spatial decision over score-tile groups within fused dense attention. TileMix partitions the attention matrix into hardware-aligned score tiles, packs routing decisions into compact bitmasks, and dispatches each tile group through FP16 or INT8 score computation while both paths update a shared online-softmax state. Scalable precision grouping lets each routing bit govern multiple adjacent key tiles, preserving hardware-aligned compute tiles and compact metadata at long contexts. By routing all legal tile groups, TileMix preserves dense token connectivity, requires no training, and supports grouped-query attention, variable-length batches, and INT8 key/value caches. Across LongEval, LV-Eval, and A100 prefill benchmarks on LLaMA, Qwen, and Vicuna, TileMix recovers long-context quality lost under uniform INT8 and improves prefill throughput over FP16, yielding a controllable accuracy-efficiency frontier across model families. The implementation is available at https://github.com/HanzhiZhang-Ulrica/TileMix.
- Abstract（参考訳）: 大規模言語モデル(LLM)の長文プリフィルは、高密度な自己アテンション計算が2次クエリキースコアを生成するため、かなりの計算量とメモリトラフィックを発生させる。
既存の手法では、均一な低精度パスを使用するか、トークンの相互作用を選択するかのいずれかを使い、ハードウェアに整合したスコアタイル上の空間的精度のルーティングを、密集した注意の外に残す。
本稿では,タイル中心の高精度ルーティングカーネルであるTileMixを紹介する。
TileMixは注目行列をハードウェア対応のスコアタイルに分割し、ルーティング決定をコンパクトなビットマスクにパックし、各タイル群をFP16またはINT8スコア計算を通じてディスパッチする。
スケーラブルな精度のグルーピングにより、各ルーティングビットが複数の隣接するキータイルを管理でき、長いコンテキストでハードウェア対応の計算タイルとコンパクトなメタデータを保存できる。
すべての法的タイルグループをルーティングすることで、TileMixは高密度なトークン接続を保持し、トレーニングを必要とせず、グループ化されたクエリアテンション、可変長バッチ、INT8キー/バリューキャッシュをサポートする。
LongEval、LV-Eval、A100のLLaMA、Qwen、Vicunaのプリフィルベンチマークを通じて、TileMixはINT8の下で失われた長いコンテキスト品質を回復し、FP16上でのプリフィルスループットを改善し、モデルファミリ間で制御可能な精度効率フロンティアを提供する。
実装はhttps://github.com/HanzhiZhang-Ulrica/TileMixで公開されている。
関連論文リスト
- The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference [0.10152838128195468]
同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。
チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネルのみを交換する。
1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。
論文 参考訳（メタデータ） (2026-08-13T20:34:36Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats [1.3357020021155022]
dMXは、学習可能な浮動小数点ビット幅割り当てのための混合精度量子化フレームワークである。
我々は,Open Compute Project 規格で定義されたデータ型のマイクロスケーリング浮動小数点(MXFP)ファミリへの適用について検討した。
論文 参考訳（メタデータ） (2026-06-02T18:23:20Z) - MUXQ: Mixed-to-Uniform Precision MatriX Quantization via Low-Rank Outlier Decomposition [0.196629787330046]
大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて優れた性能を達成している。
ZeroQuant, LLM.int8() や SmoothQuant といった既存の手法では、入力アクティベーションのアウトレイアとハードウェアの非効率に完全に対応していない。
MUXQ(Mixed-to-Uniform Quantization)を提案する。
論文 参考訳（メタデータ） (2026-04-06T14:13:47Z) - BlackboxNLP-2025 MIB Shared Task: Exploring Ensemble Strategies for Circuit Localization Methods [64.5040037515574]
2つ以上の回路ローカライズ手法を組み込むことで性能が向上するかどうかを検討する。
並列アンサンブルでは、各エッジに割り当てられた属性スコアを異なる方法で組み合わせる。
逐次アンサンブルでは、EAP-IGを用いて得られたエッジ属性スコアを、より高価で高精度な回路識別法のためのウォームスタートとして使用する。
論文 参考訳（メタデータ） (2025-10-08T09:39:40Z) - Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳（メタデータ） (2024-10-22T17:59:30Z) - SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である
本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。
実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-23T16:21:48Z) - Adaptive Affinity for Associations in Multi-Target Multi-Camera Tracking [53.668757725179056]
本稿では,MTMCTにおけるアフィニティ推定を対応する対応範囲に適応させるための,単純かつ効果的な手法を提案する。
すべての外見の変化に対処する代わりに、データアソシエーション中に出現する可能性のあるものに特化したアフィニティメトリックを調整します。
ミスマッチを最小限に抑えるため、アダプティブアフィニティモジュールはグローバルなre-ID距離を大幅に改善する。
論文 参考訳（メタデータ） (2021-12-14T18:59:11Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Adaptive Mixture Regression Network with Local Counting Map for Crowd
Counting [16.816382549827214]
そこで我々は,密度マップに基づくアプローチよりも正確な結果を得るために,LCM (Local counting map) という新しいターゲットを導入する。
また、3つのモジュールからなる適応型混合回帰フレームワークを粗大な方法で提案し、群衆推定の精度をさらに向上させる。
論文 参考訳（メタデータ） (2020-05-12T13:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。