論文の概要: Attention Quantization for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2609.13031v1
• Date: Fri, 11 Sep 2026 16:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.807294
• Title: Attention Quantization for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルの注意量子化
• Abstract要約: 重み付けやKVキャッシュの量子化よりも、注意計算に焦点をあてるべきである。 我々は,FP8に対するクエリ,キー,値の量子化戦略を開発し,FP8行列乗算命令を用いて注意計算を高速化する。 私たちのTritonカーネルは、通常の16ビットカーネルの1.7倍の高速化を実現しています。
• 参考スコア（独自算出の注目度）: 40.6074660131806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the recent rise and adoption of tabular foundation models, optimizing their inference performance becomes an emerging field for efficiency research. While the models are architecturally similar to transformer-based large language models (LLMs), the size and serving patterns differ significantly. We show that the focus should be on the attention calculation and less on weight or KV cache quantization, which are more popular in LLMs. We develop a quantization strategy for queries, keys, and values to FP8 and use explicit FP8 matrix multiplication instructions to speed up the attention calculation. We find that it is crucial to align the quantization error in the test rows with the quantization error in the training rows, as otherwise the accuracy drops drastically. Our Triton kernel achieves a speedup up to 1.7x over regular 16-bit kernels, and we show that on TabPFN-v3 and TabICLv2 there is no relevant accuracy loss across TabArena and BeyondArena.
• Abstract（参考訳）: 近年の表層基盤モデルの普及と採用により、推論性能の最適化が効率研究の新たな分野となる。 モデルは、アーキテクチャ的にはトランスフォーマーベースの大規模言語モデル(LLM)と似ているが、サイズと提供パターンは大きく異なる。 重み付けやKVキャッシュの量子化よりも、注意計算に焦点をあてるべきである。 我々は,FP8に対するクエリ,キー,値の量子化戦略を開発し,FP8行列乗算命令を用いて注意計算を高速化する。 テスト行の量子化誤差とトレーニング行の量子化誤差とを一致させることが重要である。 提案するTabPFN-v3とTabICLv2では,TabArenaとBeyondArena間の精度損失は発生しない。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Mixed Precision PointPillars for Efficient 3D Object Detection with TensorRT [0.0]
  我々はPointPillars用に設計された混合精度フレームワークを提案する。 本手法はPTQパイプラインをトレーニングせずに混合精度モデルを提供する。 RTデプロイメントでは、当社のモデルは、それぞれ2.35倍と2.26倍のレイテンシとサイズを提供する。
  論文  参考訳（メタデータ） (2026-01-19T00:59:13Z)
• Post-Training Quantization of OpenPangu Models for Efficient Deployment on Atlas A2 [3.309291427648113]
  HuaweiのopenPangu-Embeded-1BとopenPangu-Embeded-7Bは3つの異なるChain-of-Thought(CoT)推論パラダイムを統合している。 これらのCoTモードではメモリとレイテンシのオーバーヘッドが大きくなり、Ascend NPUへの実践的なデプロイが困難になる。 本稿では、FP16計算をより効率的な整数算術に変換する低ビット量子化を利用して、これらの計算制約に対処する。
  論文  参考訳（メタデータ） (2025-12-29T10:50:23Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Tensor Product Attention Is All You Need [61.3442269053374]
  プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。 TPAは、メモリ効率とともに改善されたモデル品質を実現する。 TPAに基づいて,シーケンスモデリングのための新しいモデルアーキテクチャであるProducT ATTion Transformer (T6)を紹介する。
  論文  参考訳（メタデータ） (2025-01-11T03:37:10Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。