論文の概要: FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration
- arxiv url: http://arxiv.org/abs/2608.25062v1
- Date: Tue, 25 Aug 2026 18:58:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.415823
- Title: FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration
- Title（参考訳）: FLINT: LLM推論高速化のための高帯域フラッシュを効率よく活用する
- Abstract要約: LLM推論は、計算スループットよりも加速メモリ容量によってますます制限される。
HBFは、マルチテラバイト近加速器容量を提供する3DスタックのNANDフラッシュ技術である。
本稿では,作業負荷駆動型HBF基板FLINTを提案する。
- 参考スコア（独自算出の注目度）: 15.418081666515919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM inference is increasingly constrained by accelerator memory capacity rather than compute throughput. This constraint is especially acute in single-accelerator and small-node inference systems, where limited on-package memory capacity restricts the size of deployable models. HBF is an emerging 3D-stacked NAND flash technology that provides multi-terabyte near-accelerator capacity, making it a promising capacity tier for storing LLM weights. However, existing HBF-based proposals face three adoption challenges: they (1) rely on coarse-grained static prefetching for LLM weights aiming to hide the microsecond-level read latency of the NAND flash device while maximizing HBF's read throughput, (2) expose NAND flash management tasks (e.g., refresh operations) to the accelerator-visible critical inference path, and (3) miss optimization opportunities to specialize and optimize the flash-management mechanisms to the workload behavior. Our goal is to design an efficient HBF substrate that integrates HBF as a memory-capacity tier alongside HBM while addressing these three challenges. To this end, we propose FLINT, a workload-driven HBF substrate for capacity-scalable LLM inference. FLINT introduces three mechanisms: (1) a hardware burst-buffer controller that dynamically coalesces and pipelines HBF reads aiming to utilize existing NAND flash buffers while sustaining high HBF bandwidth, (2) a phantom-plane refresh mechanism, which removes refresh from the critical inference path by moving refresh-related NAND flash operations outside the read foreground back via low-cost resource duplication, and (3) a read-only FTL, which replaces SSD-class support for arbitrary writes with a compact table that translates logical weight bursts to physical HBF locations.
- Abstract（参考訳）: LLM推論は、計算スループットよりも加速メモリ容量によってますます制限される。
この制約は、特にシングルアクセラレータや小さなノード推論システムでは、パッケージ上のメモリ容量の制限により、デプロイ可能なモデルのサイズが制限される。
HBFは新興の3Dスタック式NANDフラッシュ技術で、マルチテラバイト近加速器容量を提供し、LCM重量を格納するための有望な容量層となっている。
しかし、既存のHBFベースの提案では、(1)HBFの読み込みスループットを最大化しながら、NANDフラッシュデバイスのマイクロ秒レベルの読み込み遅延を隠すことを目的としたLCM重みの粗い静的プリフェッチ、(2)アクセル可視クリティカル推論パスへのNANDフラッシュ管理タスク(例えば、リフレッシュ操作)の公開、(3)フラッシュ管理機構をワークロードの振る舞いに特化して最適化する最適化の欠如、という3つの課題に直面している。
我々の目標は、これらの3つの課題に対処しながら、HBFをHBMと共にメモリ容量層として統合する効率的なHBF基板を設計することである。
そこで本研究では,作業負荷駆動型HBF基板FLINTを提案する。
FLINTでは,(1)HBFを動的に結合・パイプラインするハードウェアバーストバッファコントローラ,(2)高HBF帯域を保ちながら既存のNANDフラッシュバッファを有効活用するハードウェアバーストバッファ,(2)低コストリソース複製により,リードフォアグラウンドの外にリフレッシュ関連NANDフラッシュ操作を移動させることにより,クリティカル推論パスからのリフレッシュを除去するファントムプレーンリフレッシュ機構,(3)任意の書き込みに対するSSDクラスサポートを物理HBF場所に変換する読み取り専用FTL,の3つのメカニズムを導入している。
関連論文リスト
- LLM Inference in a Flash! [66.43896490006965]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。
我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
論文 参考訳（メタデータ） (2026-09-14T18:04:30Z) - Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving [54.31800246594724]
本稿では,ブロック拡散型VLAであるFast-dDriveについて述べる。
我々は、Fast-dDriveが運転エージェントの速度精度フロンティアを再定義することを示す。
論文 参考訳（メタデータ） (2026-05-22T02:31:32Z) - DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference [6.147640298081776]
キーバリュー(KV)キャッシュは、しばしば利用可能なデバイスメモリを超える。
本稿では、KVテンソルをページキャッシュパスまたはDMAダイレクトパスに動的に割り当てるデュアルパスKV在留フレームワークであるカーネルBLADEを提案する。
推論-BLADEは、それぞれ33.1%と42.4%の遅延をプリフィルとデコードするボトルネックを実質的に緩和する。
論文 参考訳（メタデータ） (2026-04-29T11:44:35Z) - STEM: Scaling Transformers with Embedding Modules [59.26825251273227]
STEMは静的なトークンインデックス付きアプローチで、FFNのアッププロジェクションをレイヤローカルな埋め込みルックアップに置き換える。
これにより、ランタイムルーティングを廃止し、非同期プリフェッチによるCPUオフロードを可能にし、トーケン毎のFLOPとデバイス間通信の両方からキャパシティを分離する。
全体として、STEMはパラメトリックメモリのスケーリングに有効な方法であり、解釈性の向上、トレーニングの安定性の向上、効率の向上を実現している。
論文 参考訳（メタデータ） (2026-01-15T18:00:27Z) - Flash Multi-Head Feed-Forward Network [51.82159978122374]
マルチヘッドFFN(MH-FFN)は、単一ヘッドアテンションとFFNの構造的類似性によって動機付けられる。
MH-FFNは、ヘッドカウントによるメモリ消費のスケーリングと、中間サイズと固定ヘッド次元の間の不均衡比の2つの課題に直面している。
我々はFlash Multi-Head FFN (FlashMHF) を提案し、I/O対応の核計算出力はFlashAttentionと同様のオンライン出力であり、動的に重み付けされた並列サブネットワークを用いた設計である。
論文 参考訳（メタデータ） (2025-12-07T20:50:20Z) - L3: DIMM-PIM Integrated Architecture and Coordination for Scalable Long-Context LLM Inference [6.886434948681708]
大きな言語モデル(LLM)では、長いテキストシーケンスの処理がますます必要になるが、GPUメモリの制限により、メモリ容量と帯域幅のトレードオフが困難になる。
重要なメモリボトルネックは、マルチヘッドアテンションの復号フェーズにある。
本稿では,DIMM-PIMとGPUデバイスを統合したハードウェア・ソフトウェア共同設計システムであるL3を提案する。
論文 参考訳（メタデータ） (2025-04-24T14:14:07Z) - FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving [9.386969461835433]
FlashInferは、大きな言語モデル(LLM)のためのカスタマイズ可能で効率的なアテンションエンジンである
ブロックスパースフォーマットと構成可能なフォーマットを使用して、KV-cacheストレージの不均一性に取り組むことで、メモリアクセスの最適化と冗長性の低減を実現している。
また、Just-In-TimeJITコンパイルによるさまざまな設定への適応を可能にする、カスタマイズ可能なアテンションテンプレートも提供する。
論文 参考訳（メタデータ） (2025-01-02T02:02:20Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z) - Designing Efficient LLM Accelerators for Edge Devices [1.4128048241287314]
大きな言語モデル(LLM)は、リソース制約のあるエッジデバイスにデプロイすることで、ネットワーク接続への依存を低減し、よりプライバシーを提供する。
この問題に対処するため、LLM推論のための新しい効率的なエッジアクセラレータを設計することが重要である。
本稿では,効率的なFPGAベースのLCMアクセラレータの設計,統合,展開プロセスの合理化にSECDA手法を用いるSECDA-LLMを提案する。
論文 参考訳（メタデータ） (2024-08-01T11:06:05Z) - Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。
バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
論文 参考訳（メタデータ） (2024-07-15T17:55:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。