論文の概要: The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems

• arxiv url: http://arxiv.org/abs/2409.20002v1
• Date: Mon, 30 Sep 2024 06:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:57:21.667676
• Title: The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems
• Title（参考訳）: LLMサービングシステムでタイム・サイド・チャンネルを発見
• Authors: Linke Song, Zixuan Pang, Wenhao Wang, Zihao Wang, XiaoFeng Wang, Hongbo Chen, Wei Song, Yier Jin, Dan Meng, Rui Hou,
• Abstract要約: 新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。 これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。 キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 26.528288876732617
• License:
• Abstract: The wide deployment of Large Language Models (LLMs) has given rise to strong demands for optimizing their inference performance. Today's techniques serving this purpose primarily focus on reducing latency and improving throughput through algorithmic and hardware enhancements, while largely overlooking their privacy side effects, particularly in a multi-user environment. In our research, for the first time, we discovered a set of new timing side channels in LLM systems, arising from shared caches and GPU memory allocations, which can be exploited to infer both confidential system prompts and those issued by other users. These vulnerabilities echo security challenges observed in traditional computing systems, highlighting an urgent need to address potential information leakage in LLM serving infrastructures. In this paper, we report novel attack strategies designed to exploit such timing side channels inherent in LLM deployments, specifically targeting the Key-Value (KV) cache and semantic cache widely used to enhance LLM inference performance. Our approach leverages timing measurements and classification models to detect cache hits, allowing an adversary to infer private prompts with high accuracy. We also propose a token-by-token search algorithm to efficiently recover shared prompt prefixes in the caches, showing the feasibility of stealing system prompts and those produced by peer users. Our experimental studies on black-box testing of popular online LLM services demonstrate that such privacy risks are completely realistic, with significant consequences. Our findings underscore the need for robust mitigation to protect LLM systems against such emerging threats.
• Abstract（参考訳）: LLM(Large Language Models)の広範な展開により、推論性能の最適化に対する強い要求が生まれている。 この目的を達成する今日のテクニックは、主にレイテンシの削減と、アルゴリズムとハードウェアの強化によるスループットの向上に重点を置いている。 本研究では,LLMシステムにおいて,機密システムプロンプトと他のユーザからの発行の両方を推測するために,共有キャッシュとGPUメモリアロケーションから発生する,新たなタイミング側チャネルのセットを初めて発見した。 これらの脆弱性は、従来のコンピューティングシステムで観測されたセキュリティ上の課題と類似しており、LLMサービスインフラストラクチャの潜在的な情報漏洩に対処する緊急の必要性を強調している。 本稿では,鍵値キャッシュ(KV)とセマンティックキャッシュをターゲットとして,LLMのデプロイメントに固有のタイミング側チャネルを活用するために設計された,新たな攻撃戦略について報告する。 提案手法では,タイミング測定と分類モデルを用いてキャッシュヒットを検出することにより,敵がプライベートプロンプトを高精度に推測することを可能にする。 また,キャッシュ内の共有プロンプトプレフィックスを効率よく回収するトークン・バイ・トークン検索アルゴリズムを提案する。 オンラインLLMサービスのブラックボックステストに関する実験的研究は、このようなプライバシーリスクが完全に現実的であり、重大な結果をもたらすことを実証している。 我々の研究は、LSMシステムを保護するための堅牢な緩和の必要性を浮き彫りにした。

関連論文リスト

• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Noisy Neighbors: Efficient membership inference attacks against LLMs [2.666596421430287]
  本稿では,組込み空間に雑音を付加することにより,対象試料のテクストノイズを発生させる効率的な手法を提案する。 提案手法はシャドウモデルの有効性と密に一致し,実際のプライバシー監査シナリオにおけるユーザビリティを示す。
  論文  参考訳（メタデータ） (2024-06-24T12:02:20Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の誤特定の程度を定量化するための指標ReGapを紹介し,有害なバックドアプロンプトを検出する上での有効性とロバスト性を示す。 ReMissは、様々な目標に整列したLDMに対して対向的なプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• Exploring Backdoor Attacks against Large Language Model-based Decision Making [27.316115171846953]
  大規模言語モデル(LLM)は、特定のアプリケーションで微調整された場合、意思決定タスクにおいて大きな可能性を示している。 これらのシステムは、微調整の段階でかなりの安全性とセキュリティ上のリスクにさらされている。 LLM対応意思決定システムに対するバックドアアタックの最初の包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• Enhancing Reasoning Capacity of SLM using Cognitive Enhancement [0.0]
  大規模言語モデル(LLM)はサイバーセキュリティ活動の自動化や、サイバー調査やデジタル法医学を含むプロセスに応用されている。 本稿では,人間が問題解決に使用する認知戦略の統合により,性能低下を軽減することを目的とする。
  論文  参考訳（メタデータ） (2024-04-01T14:29:58Z)
• Optimization-based Prompt Injection Attack to LLM-as-a-Judge [78.20257854455562]
  LLM-as-a-Judgeは、大きな言語モデル(LLM)を使用して、ある質問に対する候補セットから最適な応答を選択する。 LLM-as-a-Judgeに対する最適化に基づくプロンプトインジェクション攻撃であるJiceDeceiverを提案する。 評価の結果,JiceDeceiveは既存のプロンプトインジェクション攻撃よりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2024-03-26T13:58:00Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• PoisonPrompt: Backdoor Attack on Prompt-based Large Language Models [11.693095252994482]
  硬質および軟質のプロンプトベースのLLMを両立させる新しいバックドアアタックであるPOISONPROMPTを提案する。 本研究は,プロンプトをベースとしたLSMに対するバックドア攻撃によるセキュリティの脅威を浮き彫りにし,さらなる研究の必要性を強調した。
  論文  参考訳（メタデータ） (2023-10-19T03:25:28Z)
• Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
  本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。 本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
  論文  参考訳（メタデータ） (2023-09-06T14:54:11Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。