論文の概要: JITterFlip: Uncovering Fault Attack Surfaces in JIT-Compiled LLM Serving
- arxiv url: http://arxiv.org/abs/2608.29745v1
- Date: Sun, 30 Aug 2026 12:16:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.055216
- Title: JITterFlip: Uncovering Fault Attack Surfaces in JIT-Compiled LLM Serving
- Title（参考訳）: JITterFlip:JITコンパイルLLMサービングにおける障害攻撃面の発見
- Abstract要約: 我々は、GPUベースのLLM推論のホスト側JITサービス制御プレーンをターゲットにした最初のBFAであるJITterFlipを提案する。
大きなJITコンパイラスタックで悪用可能なターゲットを特定するために、JITterFlipは、決定誘導のフォールトフロンティアブルコード解析を開発する。
- 参考スコア（独自算出の注目度）: 26.209432372606813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs are widely deployed through cloud-hosted inference services, where Just-in-Time (JIT) compilation is used to reduce recurring framework and GPU-launch overhead. JIT serving introduces a host-side control plane that selects compiled artifacts and orchestrates their execution on the GPU. Meanwhile, the shared cloud setting has motivated a growing body of bit-flip attacks (BFAs) against LLM/DNN inference. Most existing BFAs target model parameters or weights and require model-specific knowledge. A smaller body of work reduces this dependency by faulting executable code, yet still corrupts code that directly implements model computation, limiting their attack effect to inference depletion. We present JITterFlip, the first BFA targeting the host-side JIT serving control plane of GPU-based LLM inference. By faulting CPU-resident serving decisions rather than model computation, JITterFlip enables both gibberish output generation and a correct-output sponge attack. To identify exploitable targets in a large JIT compiler stack, JITterFlip develops a decision-guided fault-vulnerable code analysis. Across four text and multimodal LLM workloads, the identified vulnerable code faults exhibit cross-model transferability, produce gibberish outputs with PPL ratios of $15.45\times$ to $2.48{\times}10^{6}\times$, and demonstrate correct-output sponge attacks with latency amplification of $2.03\times$ to $181.90\times$. JITterFlip also bypasses recent BFA defenses for LLMs while retaining both attack effects. Last, we demonstrate end-to-end Rowhammer attacks across four LLMs: a single bit flip in CPU-resident branch code propagates across the CPU-GPU boundary to disrupt GPU-executed inference without direct access to GPU memory, reaching up to $7.23{\times}10^{6}\times$ PPL amplification or $124.97\times$ latency amplification while preserving the exact generated output.
- Abstract（参考訳）: LLMはクラウドホスト型推論サービスを通じて広くデプロイされ、Just-in-Time(JIT)コンパイルを使用して、繰り返しフレームワークとGPU起動オーバーヘッドを削減する。
JITサービスでは、コンパイルされたアーティファクトを選択し、GPU上での実行をオーケストレーションするホスト側コントロールプレーンが導入されている。
一方、共有クラウド設定は、LLM/DNN推論に対するビットフリップ攻撃(BFA)の増加を動機付けている。
既存のBFAはモデルパラメータや重みをターゲットとしており、モデル固有の知識を必要とする。
しかし、モデル計算を直接実装し、攻撃効果を推論の枯渇に制限するコードは、いまだに破損している。
我々は、GPUベースのLLM推論のホスト側JITサービス制御プレーンをターゲットにした最初のBFAであるJITterFlipを提案する。
JITterFlipは、モデル計算よりもCPU常駐のサービス決定を失敗させることで、ギブベリの出力生成と正しい出力スポンジ攻撃の両方を可能にします。
大きなJITコンパイラスタックで悪用可能なターゲットを特定するために、JITterFlipは、決定誘導のフォールトフロンティアブルコード解析を開発する。
4つのテキストおよびマルチモーダルLCMワークロード全体で、識別された脆弱性のあるコードフォールトは、クロスモデル転送可能性を示し、PPL比が15.45\times$から2.48{\times}10^{6}\times$を生成し、レイテンシを増幅した正しい出力スポンジ攻撃を2.03\times$から81.90\times$に示す。
JITterFlipは、両方の攻撃効果を維持しながら、LLMの最近のBFA防御をバイパスする。
最後に、4つのLDMに対して、エンドツーエンドのRowhammer攻撃を実演する: CPU-GPU境界を越えてCPU-GPU境界を越えて、GPUメモリに直接アクセスすることなくGPUが実行した推論を妨害し、正確な出力を保ちながら7.23{\times}10^{6}\times$ PPL増幅または124.97\times$レイテンシ増幅を行う。
関連論文リスト
- Unlocking Lossless Speedups in LLMs via Discrete Diffusion [67.4336730000437]
大規模言語モデル(LLM)は、その成功の大部分は、次世代の予測(NTP)に負っている。
本稿では,ARモデル分布を定義する新しいモデルのクラスである拡散拡張LDMを紹介する。
我々はこれらのモデルのパラメータを2つのセットに分割する: AR重み、標準NTP目標を用いたトレーニング、軽量拡散重み、同時に複数のトークンを生成する訓練。
論文 参考訳（メタデータ） (2026-09-03T15:48:43Z) - Groundhog Bit-Flip Attack: Seeding Infinite Generation Loops in Mixture-of-Experts LLMs through Bit Flips [14.320164432739881]
我々は,最初のビットフリップベースのテクストである textbfGroundhog Bit-Flip Attack (GBFA) を,MoEベースの言語モデルに対するDenial-of-Walletアベイラビリティアタックとして提示する。
関連する専門家アクティベーションに関連するルーティング層ビットを同定し、フリップすることで、GBFAはデコードトークンの使用を大幅に拡張することを示した。
4つの主要な現実世界のMoEベースのLCMは、textbf4のエキスパートよりも手動で非活性化され、平均出力インフレーションは$mathbf5912%に上昇し、大多数がそれである。
論文 参考訳（メタデータ） (2026-08-26T01:23:01Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - Compiling Code LLMs into Lightweight Executables [18.677096682203697]
Dittoは、コードLLMのモデルサイズと推論プログラムの両方を最適化する新しい方法である。
私たちは、Dittoを3つの人気のあるコードLLMで評価し、元の推論パイプラインと比較して最大10.5$times$低いメモリ使用量を達成しました。
論文 参考訳（メタデータ） (2026-03-31T14:40:19Z) - Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。
PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
論文 参考訳（メタデータ） (2025-07-09T07:27:18Z) - BitHydra: Towards Bit-flip Inference Cost Attack against Large Language Models [22.695878922889715]
モデル重みを直接修正し,漏洩したLLMの全ユーザに対して持続的オーバーヘッドを誘発する,最初のビットフリップ推論コスト攻撃を導入する。
この攻撃パラダイムをBitHydraでインスタンス化し、(1)シーケンス終端トークン(EOS)を抑制する損失を最小限に抑え、(2)EOS埋め込みベクトルに焦点をあてた効率的かつ効果的なクリティカルビット探索を利用する。
論文 参考訳（メタデータ） (2025-05-22T13:36:00Z) - Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。
LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。
LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
論文 参考訳（メタデータ） (2025-02-20T18:37:32Z) - Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [50.980446687774645]
本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。
我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。
Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
論文 参考訳（メタデータ） (2024-10-24T06:36:12Z) - Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。
本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
論文 参考訳（メタデータ） (2024-10-14T17:39:31Z) - BESA: Pruning Large Language Models with Blockwise Parameter-Efficient Sparsity Allocation [54.28841287750586]
大規模言語モデル(LLM)は、テキスト要約、テキスト質問応答など、様々なタスクにおいて優れたパフォーマンスを示してきた。
SparseGPTやWandaといった既存のソリューションは、重み付けによってこの問題を緩和しようと試みている。
本稿では,ブロックワイド再構成損失を適用して,ブロックワイドパラメータ効率の空間割当(BESA)と呼ばれる新しいLCMプルーニング手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T12:44:15Z) - HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM
Inference [68.59839755875252]
HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。
我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
論文 参考訳（メタデータ） (2024-02-14T18:04:36Z) - FlightLLM: Efficient Large Language Model Inference with a Complete
Mapping Flow on FPGAs [23.381331567339526]
Transformer-based Large Language Models (LLMs) は様々な領域に多大な影響を与えている。
本稿では,FPGA上での完全なマッピングフローを用いて,効率的なLLM推論を実現するFlightLLMを提案する。
FlightLLMは最新のVersal VHK158 FPGAを使用して1.2$times$高スループットでNVIDIA A100 GPUを破る。
論文 参考訳（メタデータ） (2024-01-08T13:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。