論文の概要: The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems
- arxiv url: http://arxiv.org/abs/2409.20002v2
- Date: Wed, 6 Nov 2024 07:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 19:39:48.039948
- Title: The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems
- Title（参考訳）: LLMサービングシステムでタイム・サイド・チャンネルを発見
- Authors: Linke Song, Zixuan Pang, Wenhao Wang, Zihao Wang, XiaoFeng Wang, Hongbo Chen, Wei Song, Yier Jin, Dan Meng, Rui Hou,
- Abstract要約: 新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。
これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。
キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 26.528288876732617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The wide deployment of Large Language Models (LLMs) has given rise to strong demands for optimizing their inference performance. Today's techniques serving this purpose primarily focus on reducing latency and improving throughput through algorithmic and hardware enhancements, while largely overlooking their privacy side effects, particularly in a multi-user environment. In our research, for the first time, we discovered a set of new timing side channels in LLM systems, arising from shared caches and GPU memory allocations, which can be exploited to infer both confidential system prompts and those issued by other users. These vulnerabilities echo security challenges observed in traditional computing systems, highlighting an urgent need to address potential information leakage in LLM serving infrastructures. In this paper, we report novel attack strategies designed to exploit such timing side channels inherent in LLM deployments, specifically targeting the Key-Value (KV) cache and semantic cache widely used to enhance LLM inference performance. Our approach leverages timing measurements and classification models to detect cache hits, allowing an adversary to infer private prompts with high accuracy. We also propose a token-by-token search algorithm to efficiently recover shared prompt prefixes in the caches, showing the feasibility of stealing system prompts and those produced by peer users. Our experimental studies on black-box testing of popular online LLM services demonstrate that such privacy risks are completely realistic, with significant consequences. Our findings underscore the need for robust mitigation to protect LLM systems against such emerging threats.
- Abstract（参考訳）: LLM(Large Language Models)の広範な展開により、推論性能の最適化に対する強い要求が生まれている。
この目的を達成する今日のテクニックは、主にレイテンシの削減と、アルゴリズムとハードウェアの強化によるスループットの向上に重点を置いている。
本研究では,LLMシステムにおいて,機密システムプロンプトと他のユーザからの発行の両方を推測するために,共有キャッシュとGPUメモリアロケーションから発生する,新たなタイミング側チャネルのセットを初めて発見した。
これらの脆弱性は、従来のコンピューティングシステムで観測されたセキュリティ上の課題と類似しており、LLMサービスインフラストラクチャの潜在的な情報漏洩に対処する緊急の必要性を強調している。
本稿では,鍵値キャッシュ(KV)とセマンティックキャッシュをターゲットとして,LLMのデプロイメントに固有のタイミング側チャネルを活用するために設計された,新たな攻撃戦略について報告する。
提案手法では,タイミング測定と分類モデルを用いてキャッシュヒットを検出することにより,敵がプライベートプロンプトを高精度に推測することを可能にする。
また,キャッシュ内の共有プロンプトプレフィックスを効率よく回収するトークン・バイ・トークン検索アルゴリズムを提案する。
オンラインLLMサービスのブラックボックステストに関する実験的研究は、このようなプライバシーリスクが完全に現実的であり、重大な結果をもたらすことを実証している。
我々の研究は、LSMシステムを保護するための堅牢な緩和の必要性を浮き彫りにした。
関連論文リスト
- Investigating Coverage Criteria in Large Language Models: An In-Depth Study Through Jailbreak Attacks [10.909463767558023]
本稿では,ニューラルアクティベーション機能を利用して,ジェイルブレイク攻撃をリアルタイムに検出するための革新的なアプローチを提案する。
提案手法は,LLMを組み込んだ将来のシステムにおいて,堅牢なリアルタイム検出機能を実現することを約束する。
論文 参考訳（メタデータ） (2024-08-27T17:14:21Z) - A Decoding Acceleration Framework for Industrial Deployable LLM-based Recommender Systems [49.588316022381385]
本稿では,LLMベースのレコメンデーション(DARE)のためのデコード高速化フレームワークを提案し,検索効率を向上させるためのカスタマイズされた検索プールと,ドラフトトークンの受け入れ率を高めるための緩和検証を提案する。
DAREは大規模な商用環境でのオンライン広告シナリオにデプロイされ、ダウンストリームのパフォーマンスを維持しながら3.45倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-08-11T02:31:13Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。
本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。
ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
論文 参考訳（メタデータ） (2024-06-20T15:12:27Z) - Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。
LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。
LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
論文 参考訳（メタデータ） (2024-05-05T00:21:26Z) - Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。
我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。
7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
論文 参考訳（メタデータ） (2024-04-24T23:39:58Z) - Enhancing Reasoning Capacity of SLM using Cognitive Enhancement [0.0]
大規模言語モデル(LLM)はサイバーセキュリティ活動の自動化や、サイバー調査やデジタル法医学を含むプロセスに応用されている。
本稿では,人間が問題解決に使用する認知戦略の統合により,性能低下を軽減することを目的とする。
論文 参考訳（メタデータ） (2024-04-01T14:29:58Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。
我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。
コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
論文 参考訳（メタデータ） (2023-12-30T01:26:42Z) - Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文 参考訳（メタデータ） (2023-09-06T14:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。