Fugu-MT 論文翻訳(概要): Amplifying Latency and Cost of LLM Inference via Rowhammer Attack

論文の概要: Amplifying Latency and Cost of LLM Inference via Rowhammer Attack

arxiv url: http://arxiv.org/abs/2610.30798v1
Date: Thu, 22 Oct 2026 06:24:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 02:08:44.235682
Title: Amplifying Latency and Cost of LLM Inference via Rowhammer Attack
Title（参考訳）: ローハマー攻撃によるLLM推論のレイテンシとコストの増幅
Abstract要約: 大規模言語モデル(LLM)は、TritonのようなJIT(Just-in-time)コンパイルフレームワークによって生成される最適化されたGPUカーネルを使用して、高い推論効率を達成する。本稿では,LLVMhammerについて述べる。LLVMhammerは,Tritonのコンパイルパイプラインにビットフリップを誘導することにより,LLM推論の遅延を引き起こす最初のRowhammer攻撃である。
参考スコア（独自算出の注目度）: 0.8726465590483233
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) achieve high inference efficiency using optimized GPU kernels generated by just-in-time (JIT) compilation frameworks such as Triton. Triton compiles GPU kernels through an MLIR/LLVM-based pipeline. We investigate whether a Rowhammer-induced bit-flip in the CPU's DRAM can degrade GPU-based LLM inference performance while preserving output correctness. We present LLVMhammer, the first Rowhammer attack that causes LLM inference slowdown by inducing a bit-flip in Triton's compilation pipeline. A bit-flip in a performance-critical optimization pass causes Triton to generate a functionally identical but suboptimal GPU kernel. Since Triton caches the generated kernel on disk, a single successful bit-flip causes persistent slowdown across subsequent inference executions. Triton's target-independent stages are shared across GPU vendors, which makes our attack GPU vendor-agnostic. To identify exploitable bit-flip locations without manual inspection, we build Karnage, a tool that isolates useful bit-flip locations in Triton's target-independent compilation pipeline. We evaluate LLVMHammer across a diverse set of LLMs, including Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3, and Deepseek-llm-7B-chat, across NVIDIA RTX 4090 and AMD RX 7900 XTX GPUs. LLVMhammer increases inference latency of an LLM inference server running on a single GPU by 4-16\%, which, in turn, can translate into additional annual operating costs at the scale of multi-GPU deployments. We further show that LLVMhammer can also corrupt LLM outputs across different GPU vendors, reducing BERTScore to as low as 25\%, illustrating the broader security implications of bit-flips in Triton's compilation pipeline.
Abstract（参考訳）: 大規模言語モデル(LLM)は、TritonのようなJIT(Just-in-time)コンパイルフレームワークによって生成される最適化されたGPUカーネルを使用して、高い推論効率を達成する。 TritonはMLIR/LLVMベースのパイプラインを通じてGPUカーネルをコンパイルする。我々は,CPUのDRAMにおけるRowhammerによるビットフリップが,出力精度を保ちながらGPUベースのLLM推論性能を劣化させるか否かを検討する。本稿では,LLVMhammerについて述べる。LLVMhammerは,Tritonのコンパイルパイプラインにビットフリップを誘導することにより,LLM推論の遅延を引き起こす最初のRowhammer攻撃である。性能クリティカルな最適化パスにおけるビットフリップにより、Tritonは機能的に同一だが最適でないGPUカーネルを生成する。 Tritonは生成されたカーネルをディスクにキャッシュするので、単一の成功したビットフリップは、その後の推論実行をまたいで持続的なスローダウンを引き起こす。 Tritonのターゲット非依存のステージはGPUベンダ間で共有されています。手動で検査することなく、悪用可能なビットフリップ位置を特定するために、Tritonのターゲット非依存のコンパイルパイプラインで有用なビットフリップ位置を分離するツールであるKarnageを構築した。我々は,Qwen2.5-7B-Instruct,Llama-3.1-8B-Instruct,Mistral-7B-Instruct-v0.3,Deepseek-llm-7B-chatなどのLLVMHammerをNVIDIA RTX 4090およびAMD RX 7900 XTX GPUで評価した。 LLVMhammerは、単一のGPU上で動作するLLM推論サーバの推論レイテンシを4-16\%向上させる。さらに、LLVMhammerは異なるGPUベンダー間でLLM出力を破損させる可能性を示し、BERTScoreを25\%まで削減し、Tritonのコンパイルパイプラインにおけるビットフリップの広範なセキュリティへの影響を説明できる。

関連論文リスト

AsmEvo: Agentic Assembly-Level Optimization of AMD GPU Kernels with Functional Equivalence Verification [21.700338424307517]
本稿では,AMD GPUカーネル用のエージェント組立レベルウェアAsmEvoを紹介する。 AsmEvoは、コードオブジェクトのリカバリ、メタデータのリカバリ、プロファイリングガイド付きホットウィンドウの編集、正確性に制限されたタイミング、パッチのフォールバックを組み合わせたものだ。 MI308Xでは、AsmEvoは選ばれた30のBenchカーネルの29を改良し、平均1.35倍、最大3.88倍のスピードアップを達成した。
論文参考訳（メタデータ） (2026-08-21T03:34:22Z)
Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。 SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
論文参考訳（メタデータ） (2026-06-13T13:38:27Z)
FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。 H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
論文参考訳（メタデータ） (2026-03-16T19:37:08Z)
Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文参考訳（メタデータ） (2025-05-27T11:55:22Z)
Can Large Language Models Predict Parallel Code Performance? [1.5221392705893568]
本稿では,Large Language Models (LLM) がハードウェアに依存しないGPU性能予測に代替的なアプローチを提供するかどうかを考察する。 LLMはRooflineモデルについて強く理解しており、明示的なプロファイリングデータを備えた場合、100%の分類精度を達成する。以上の結果から,より優れたデータセットと迅速な戦略により,LLMはHPCルーフライン解析および性能ポータビリティのための実用的なツールとなる可能性が示唆された。
論文参考訳（メタデータ） (2025-05-06T21:41:20Z)
70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
論文参考訳（メタデータ） (2025-04-15T22:38:38Z)
ML-Triton, A Multi-Level Compilation and Language Extension to Triton GPU Programming [2.4665562732779773]
Tritonは、より高いレベルでプログラミングによって、よりユーザフレンドリでポータブルな代替手段を提供するDSLです。マルチレベルのコンパイルフローとプログラミングインタフェースを備えたML-Tritonを提案する。提案手法は,Intel GPU上でのエキスパート記述カーネルの95%以上の性能を実現する。
論文参考訳（メタデータ） (2025-03-19T08:31:39Z)
vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文参考訳（メタデータ） (2024-07-22T14:37:58Z)
PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
Support Vector Machines (SVM) は機械学習で広く使われている。しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
論文参考訳（メタデータ） (2022-02-25T13:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。