Fugu-MT 論文翻訳(概要): LampAttention: Look-Ahead Mixed-Precision FlashAttention for Dedicated Accelerators

論文の概要: LampAttention: Look-Ahead Mixed-Precision FlashAttention for Dedicated Accelerators

arxiv url: http://arxiv.org/abs/2609.39361v1
Date: Wed, 30 Sep 2026 09:18:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:27.510368
Title: LampAttention: Look-Ahead Mixed-Precision FlashAttention for Dedicated Accelerators
Title（参考訳）: LampAttention: 専用加速器用Look-Ahead Mixed-Precision FlashAttention
Abstract要約: 混合精度FlashAttentionという新しいハードウェア・アルゴリズムの共設計を導入する。本稿では,このパイプラインを効率的に実行可能な専用加速器の仕様を提案する。
参考スコア（独自算出の注目度）: 2.845351470902218
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While most attention logits can be computed in low precision without degrading numerical stability, current attention kernels fail to exploit this phenomenon. We introduce a novel hardware-algorithm co-design in the form of mixed-precision FlashAttention. Our method accumulates key-query products and evaluates their exponentials in 8-bit formats, then adaptively identifies sensitive sub-blocks and recomputes them in 16-bit formats. We propose the specifications for a dedicated accelerator capable of executing this pipeline efficiently. Simulated experiments with Qwen3 and Gemma 3 show that rerouting a selective minority of sub-blocks to high precision is sufficient to recover the baseline model performance.
Abstract（参考訳）: ほとんどの注意ログは数値安定性を低下させることなく低精度で計算できるが、現在の注意カーネルはこの現象を利用できない。混合精度FlashAttentionという新しいハードウェア・アルゴリズムの共設計を導入する。提案手法は,キークエリ生成物を蓄積し,指数関数を8ビットフォーマットで評価し,センシティブなサブブロックを適応的に同定し,16ビットフォーマットで再計算する。本稿では,このパイプラインを効率的に実行可能な専用加速器の仕様を提案する。 Qwen3 と Gemma 3 のシミュレーション実験により,サブブロックの選択的マイノリティを高精度に再現することは,ベースラインモデルの性能を回復するのに十分であることが示された。

関連論文リスト

HyperDFlash: Hyper-Connection-Aligned Block Speculative Decoding with Gated Residual Reduction [8.146414118644069]
We present HyperDFlash, a block-parallel speculative decoding framework for DeepSeek-V4's Hyper-Connections (HC)。 DeepSeek-V4のネイティブなマルチトークン予測(MTP)モジュールが初期トークンドラフトで高いパフォーマンスを示したにもかかわらず、ドラフトの精度は後の位置で大幅に低下した。元のDFlash法は効率的なワンパスブロックドラフトをサポートしているが、HCパラダイムにシームレスに適応することはできない。
論文参考訳（メタデータ） (2026-06-25T08:31:53Z)
Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。私たちのフレームワークは2つの軽量モジュールで構成されています。実験では、リアルタイムに競争力のある圧縮性能を示す。
論文参考訳（メタデータ） (2026-03-26T10:02:07Z)
BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers [13.600791786470841]
注意のバイナライゼーションは,本質的な類似性関係を保ち,バイナリアテンションを提案する。学習可能なバイアスを組み込むことで1ビット量子化の下での固有情報損失を軽減し、エンドツーエンドの加速を可能にする。我々の研究は、低ビットビジョンと拡散トランスフォーマーのフロンティアを推し進め、完全精度の注意に対する高効率で効果的な代替手段を提供する。
論文参考訳（メタデータ） (2026-03-10T12:31:54Z)
BAPS: A Fine-Grained Low-Precision Scheme for Softmax in Attention via Block-Aware Precision reScaling [12.43240392025487]
特定の8ビット浮動小数点フォーマット (HiF8) とブロック対応のソフトマックス再スケーリングを利用した新しい低精度ワークフローを提案する。我々のアルゴリズムの革新は、モデルの精度を著しく損なうことなく、低精度のソフトマックスを実現する。我々の研究は、チップ面積を増大させることなく、エンドツーエンドの推論スループットを2倍にする方法を開拓する。
論文参考訳（メタデータ） (2026-02-02T13:12:18Z)
SpecAttn: Speculating Sparse Attention [1.6921396880325779]
SpecAttnは、投機的復号化技術とシームレスに統合する、新しいトレーニング不要のアプローチである。私たちの重要な洞察は、投機的復号中にドラフトモデルによって既に計算されている注意重みを利用して、ターゲットモデルの重要なトークンを特定することです。 SpecAttnは、PG-19データセットのパープレキシティをわずか15.29%増加させ、キー値キャッシュアクセスを75%以上削減する。
論文参考訳（メタデータ） (2025-10-31T17:12:34Z)
In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning [59.091567092071564]
インメモリトレーニングは通常、デジタルベースラインに合わせて少なくとも8ビットのコンダクタンス状態を必要とする。 ReRAMのような多くの有望な中間デバイスは、製造制約のため、約4ビットの解像度しか提供しない。本稿では,残差を補うために複数のクロスバータイルを逐次学習する語彙学習フレームワークを提案する。
論文参考訳（メタデータ） (2025-10-02T19:44:25Z)
FlashBias: Fast Computation of Attention with Bias [70.44379606190569]
偏見による注意は、視覚、言語、タンパク質の折り畳みやその他の先進的な科学モデルに広く展開されてきた。これは、FlashAttentionのようなアクセラレーターの速度の根底にある、固く融合したメモリ計算パイプラインを破壊します。本稿では,低ランク圧縮センシング理論に基づくFlashBiasを提案する。
論文参考訳（メタデータ） (2025-05-17T15:12:50Z)
Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
論文参考訳（メタデータ） (2025-05-16T13:48:33Z)
QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
本稿では,不均衡な活性化分布を量子化困難の原因として同定する。我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。本手法は3つの高解像度画像生成タスクに対して有効性を示す。
論文参考訳（メタデータ） (2024-02-06T03:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。