論文の概要: FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell

• arxiv url: http://arxiv.org/abs/2611.03344v1
• Date: Mon, 02 Nov 2026 16:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:43:05.973373
• Title: FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
• Title（参考訳）: FLAMIA:Blackwellでの高速かつ因果安全トレーニングのためのFLAshマイクロスケーリング注意
• Abstract要約: 我々は,Blackwell の MXFP8 と NVFP4/FP8 混合学習パスを用いた注目カーネル FLAMIA を提案する。 我々は,量子化,数値のトレーニング,文書スケジューリングが,低ビットハードウェアスループットを実用的な注意促進にどのように変換するかを示す。
• 参考スコア（独自算出の注目度）: 8.185321779672822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention remains a substantial computational cost in Transformer training, particularly at long context lengths. NVIDIA Blackwell GPUs provide high-throughput low-precision matrix multiplication, but exploiting it in attention requires addressing quantization overhead, causal information leakage through shared scales, and numerical inconsistencies between the forward and backward passes. We present FLAMIA, a family of attention kernels for Blackwell with MXFP8 and mixed NVFP4/FP8 training paths. Our design combines token-block scaling that reuses quantized operands across matrix orientations, targeted safeguards against scale-induced leakage, and consistent forward and backward computations. Fused quantization and architecture-specific kernel optimizations reduce overhead, while document-local scaling and workload-aware scheduling support variable-length documents directly in packed layouts without repacking. Across various causal packed-document workloads, the MXFP8 path accelerates the combined forward and backward attention call, including quantization, by factors of $1.10$--$1.40\times$ on B200 and $1.06$--$1.42\times$ on B300 relative to the fastest evaluated baseline for each workload. We validate training stability and quality preservation on pretraining Llama-style models. These results show how jointly designing quantization, training numerics, and document scheduling translates low-bit hardware throughput into practical attention acceleration.
• Abstract（参考訳）: 注意はトランスフォーマートレーニングにおいて、特に長期の文脈において、かなりの計算コストを要している。 NVIDIA Blackwell GPUは、高スループットの低精度行列乗算を提供するが、それを活用するには、量子化オーバーヘッド、共有スケールによる因果情報漏洩、前方パスと後方パス間の数値的不整合に対処する必要がある。 我々は,Blackwell の MXFP8 と NVFP4/FP8 混合学習パスを用いた注目カーネル FLAMIA を提案する。 我々の設計は、行列の向きによって量子化されたオペランドを再利用するトークンブロックスケーリングと、スケールによるリークに対するターゲットガードと、一貫した前方および後方の計算を組み合わせたものである。 融合量子化とアーキテクチャ固有のカーネル最適化はオーバーヘッドを減らし、ドキュメントローカルなスケーリングとワークロード対応のスケジューリングは、再パッケージ化せずに、パッケージ化されたレイアウトで変数長のドキュメントを直接サポートする。 B200では1.10$--1.40\times$、B300では1.06$--1.42\times$となっている。 プレトレーニング型Llamaモデルにおけるトレーニング安定性と品質維持の検証を行った。 これらの結果は、量子化、トレーニング数値、文書スケジューリングが、低ビットハードウェアスループットを実用的な注意加速に変換する方法を示している。

関連論文リスト

• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Mixed-Precision Training and Compilation for RRAM-based Computing-in-Memory Accelerators [0.8708298560474775]
  CIMアーキテクチャのための混合精度トレーニングおよびコンパイルフレームワークを提案する。 最大の課題は巨大な検索スペースであり、優れた量子化パラメータを見つけるのが難しくなる。 最良の場合、我々の手法は既存の最先端ソリューションよりも2.48倍のスピードアップを達成し、精度の損失は0.086%である。
  論文  参考訳（メタデータ） (2026-01-29T13:54:55Z)
• Quant-Trim in Practice: Improved Cross-Platform Low-Bit Deployment on Edge NPUs [0.6138671548064355]
  特別なエッジアクセラレータは低ビット量子化に依存しているが、ベンダーコンパイラはスケーリング、クリップング、カーネルサポートが異なる。 同じ浮動小数点(FP)チェックポイントは、バックエンド間で一貫性のない精度が得られるため、実践者はフラグや推論モデルをベンダーフレンドリーなオペレーターサブセットに調整せざるを得ない。 我々は,バックエンドと精度の選択に対してハードウェア中立チェックポイントを生成するトレーニングフェーズであるQuant-Trimを紹介する。
  論文  参考訳（メタデータ） (2025-11-19T10:09:02Z)
• XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization [58.92253769255316]
  LLM推論はメモリフットプリントと帯域幅の要求のために困難である。 XQuantは、ハードウェアプラットフォームの急速に増加する計算能力を利用して、メモリボトルネックを取り除く。 XQuant-CLは、極端な圧縮のためにX埋め込みの層間類似性を利用する。
  論文  参考訳（メタデータ） (2025-08-14T06:52:38Z)
• Accurate Block Quantization in LLMs with Outliers [0.6138671548064355]
  極大規模LLMの推理需要はここ数カ月で大きく伸びている。 この問題は処理中のシーケンスの長さが爆発的に増加することで増大する。 重みとアクティベーションの両方の正確な量子化を可能にする様々な量子化技術が提案されている。
  論文  参考訳（メタデータ） (2024-03-29T12:15:06Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。