Fugu-MT 論文翻訳(概要): LLM Inference in a Flash!

論文の概要: LLM Inference in a Flash!

arxiv url: http://arxiv.org/abs/2609.16161v1
Date: Mon, 14 Sep 2026 18:04:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.169125
Title: LLM Inference in a Flash!
Title（参考訳）: LLM Inference in a Flash!
Abstract要約: 大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
参考スコア（独自算出の注目度）: 66.43896490006965
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have shown impressive capabilities across a range of natural language processing tasks, and LLM inference has emerged as a critical workload for enabling downstream applications. The demands of serving LLM inference are becoming increasingly challenging as requests shift toward longer sequences and heavier inference, driven by retrieval-augmented generation, inference-time compute scaling, and long-context applications. Additionally, these challenges are compounded by hardware trends, as memory capacity and communication bandwidth are not scaling as fast as increases in workload complexity. Compute-in-Flash is a promising solution to address memory bandwidth limitations by moving computation close to memory, and to exploit the large capacity of SSD technologies. However, it is challenging to deploy LLMs on these systems as they lack support for high-precision floating point operations and have limited write endurance. In our work, we aim to address these challenges by designing inference algorithms to enable LLM inference on Flash compute-in-memory devices. We present an end-to-end integer-only quantization approach to eliminate expensive floating-point computations. To address the limited write endurance, we design a dictionary-based KV cache compression strategy based on sparse dictionary coding that represents each KV vector as a linear combination of static dictionary vectors. These algorithmic improvements enable us to exploit the benefits of Compute-in-Flash for both model weights and KV cache, and to minimize expensive data transfer operations. Across Llama-3.1-8B and Qwen-2.5-7B, our combined method exhibits limited accuracy degradation while reducing dynamic KV cache traffic by 15$\times$.
Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな自然言語処理タスクにおいて印象的な機能を示しており、LLM推論は下流アプリケーションを実現するための重要なワークロードとして現れている。 LLM推論の要求は、要求がより長いシーケンスとより重い推論へと移行するにつれて、ますます難しくなってきている。さらにこれらの課題は、メモリ容量と通信帯域幅がワークロードの複雑さの増加ほど高速ではないため、ハードウェアのトレンドによって複雑化されている。 Compute-in-Flashは、メモリに近い計算を移動させることによってメモリ帯域幅の制限に対処し、SSD技術の容量を最大限活用する、有望なソリューションである。しかし、高速浮動小数点演算のサポートがなく、書き込み耐性が限られているため、これらのシステムにLSMをデプロイすることは困難である。本研究の目的は,Flash 計算インメモリデバイス上で LLM 推論を可能にする推論アルゴリズムを設計することで,これらの課題に対処することである。我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。そこで本研究では,各KVベクトルを静的辞書ベクトルの線形結合として表現するスパース辞書符号化に基づく辞書ベースのKVキャッシュ圧縮戦略を設計する。これらのアルゴリズムの改良により、モデルウェイトとKVキャッシュの両方でCompute-in-Flashの利点を活用でき、高価なデータ転送操作を最小化できます。 Llama-3.1-8B と Qwen-2.5-7B の併用により,KV キャッシュの動的トラフィックを 15$\times$ に削減しながら,精度の低下が抑制された。

関連論文リスト

Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
論文参考訳（メタデータ） (2026-08-31T15:13:20Z)
FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文参考訳（メタデータ） (2026-06-01T06:58:15Z)
A Queueing-Theoretic Framework for Stability Analysis of LLM Inference with KV Cache Memory Constraints [4.636275494777427]
計算とGPUメモリの制約を明示的に組み込んだ最初の待ち行列理論フレームワークを紹介した。我々は,LLM推論サービスが待ち行列の成長を伴わずに着信需要を維持できるかどうかを判断する厳密な安定性と不安定性条件を導出する。以上の結果から, 予測安定性条件は精度が高く, 偏差が10%以内であることが示唆された。
論文参考訳（メタデータ） (2026-05-06T07:42:26Z)
Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文参考訳（メタデータ） (2025-12-10T01:54:57Z)
Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文参考訳（メタデータ） (2025-08-04T16:14:03Z)
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文参考訳（メタデータ） (2025-05-28T17:39:15Z)
Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
論文参考訳（メタデータ） (2025-04-15T16:00:21Z)
FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving [9.386969461835433]
FlashInferは、大きな言語モデル(LLM)のためのカスタマイズ可能で効率的なアテンションエンジンであるブロックスパースフォーマットと構成可能なフォーマットを使用して、KV-cacheストレージの不均一性に取り組むことで、メモリアクセスの最適化と冗長性の低減を実現している。また、Just-In-TimeJITコンパイルによるさまざまな設定への適応を可能にする、カスタマイズ可能なアテンションテンプレートも提供する。
論文参考訳（メタデータ） (2025-01-02T02:02:20Z)
Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference [2.9302211589186244]
大規模言語モデル(LLM)は自然言語処理を変換し、機械が人間のようなテキストを生成し、意味のある会話を行うことを可能にする。計算と記憶能力の発達はムーアの法則の廃止によってさらに悪化している。コンピュート・イン・メモリ(CIM)技術は、メモリ内でアナログ計算を直接実行することにより、AI推論を加速するための有望なソリューションを提供する。
論文参考訳（メタデータ） (2024-06-12T16:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。