論文の概要: SparLeak: Privacy Leakage from Sparse Attention in LLM Inference on Shared GPUs

• arxiv url: http://arxiv.org/abs/2609.38830v1
• Date: Wed, 30 Sep 2026 02:52:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.057164
• Title: SparLeak: Privacy Leakage from Sparse Attention in LLM Inference on Shared GPUs
• Title（参考訳）: SparLeak: 共有GPU上のLLM推論におけるスパース注意からのプライバシ漏洩
• Abstract要約: 長文推論中にSIMAトレースを抽出する相認識型サイドチャネルアタックであるSparLeakを提案する。 SparLeakは,属性推定で90.9%,応答再構成で87.3%の平均攻撃成功率を達成した。 匿名のSIMAトレース、トレーニングされたアタックモデル、評価スクリプト、およびアーティファクトとしてのドキュメントはhttps://anonymous.4open.science/r/Janus_artifacts/で公開しています。
• 参考スコア（独自算出の注目度）: 27.16111863736413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention is widely used to accelerate long-context inference in modern large language models (LLMs), but its input-dependent execution behavior introduces previously unexplored privacy risks. We identify a new GPU micro-architectural side channel, termed Sparsity-Induced Memory Access (SIMA), which arises from secret-dependent key-value cache access patterns induced by sparse attention. Based on this observation, we present SparLeak, a phase-aware side-channel attack that extracts SIMA traces during LLM inference and enables two practical privacy extractions: query attribute inference from prefill-phase traces and autoregressive response reconstruction from decoding-phase traces. By reconstructing approximate token-level sparsity profiles from page-level observations and applying profiling-based learning, SparLeak accurately recovers sensitive information, including user-query attributes and private LLM response content. Extensive evaluation across three LLM architectures, three sparse attention mechanisms, and three privacy-sensitive datasets shows that SparLeak achieves average attack success rates of 90.9% for attribute inference and 87.3% for response reconstruction under real-world LLM serving settings, highlighting the significance to account for SIMA leakage when deploying sparse-attention-based LLM systems. We provide anonymized SIMA traces, trained attack models, evaluation scripts, and documentation as artifacts at https://anonymous.4open.science/r/Janus_artifacts/.
• Abstract（参考訳）: スパース・アテンションは、現代の大言語モデル(LLM)における長文推論を加速するために広く用いられているが、その入力依存実行行動は、これまで探索されていなかったプライバシーリスクをもたらす。 スパースアテンションによって引き起こされる秘密の鍵値キャッシュアクセスパターンから生じる、スペーサリティ誘導メモリアクセス(SIMA)と呼ばれる新しいGPUマイクロアーキテクチャサイドチャネルを同定する。 そこで本研究では,LCM推論中にSIMAトレースを抽出し,プリフィルフェーズトレースからのクエリ属性推論とデコードフェーズトレースからの自己回帰応答再構築という,2つの実用的なプライバシ抽出を実現する,相認識型サイドチャネルアタックであるSparLeakを提案する。 SparLeakは、ページレベルの観測から近似トークンレベルの空間プロファイルを再構築し、プロファイリングベースの学習を適用することにより、ユーザクエリ属性やプライベートLLM応答内容を含む機密情報を正確に復元する。 3つのLCMアーキテクチャ、3つのスパースアテンション機構、および3つのプライバシーに敏感なデータセットにわたる広範囲な評価の結果、SparLeakは属性推論における平均攻撃成功率90.9%、実際のLLMサービス設定下での応答復元における87.3%を達成し、スパースアテンションベースのLCMシステムを展開する際のSIMAリークを考慮する重要性を強調している。 匿名のSIMAトレース、トレーニングされたアタックモデル、評価スクリプト、ドキュメントをhttps://anonymous.4open.science/r/Janus_artifacts/で公開しています。

関連論文リスト

• Detokenization Leaks: Reconstructing Local LLM Outputs From Cache Traces [3.482776654979494]
  ローカルにホストされたLCMが生成したテキストをCPUキャッシュのアクティビティを観察して再構築する新たな攻撃を提案する。 共有トークンライザコードにFlush+Reloadを使用して、デコードの発生を検知します。 次に、クラスタリング・アンド・ランゲージ・モデルパイプラインを用いて、ノイズの多いキャッシュ観測からテキストを復元する。
  論文  参考訳（メタデータ） (2026-09-06T15:25:59Z)
• Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models [24.764929711765944]
  マシンアンラーニングは、汎用性を維持しながら、スクラッチからリトレーニングすることなく、指定された知識を除去しようとする。 既存のプライバシ指向のベンチマークでは、主にプロファイルレベルの削除が採用されているが、実用的な要求はよりきめ細かいものが多い。 属性レベルのMLLMアンラーニングをよりきめ細かなタスクとして導入し、長文、数値、短文ターゲット、複数忘れ率、多様な質問タイプにまたがるベンチマークを構築した。 評価の結果,対象属性と保持属性が識別特異性および視覚的証拠を共有していることが判明した。
  論文  参考訳（メタデータ） (2026-08-02T05:23:44Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
  本稿では,検索者の後続のコントラスト学習のためのバックボーンを強化するために,QLの補助的タスクを提案する。 注意ブロック(AB)と文書破壊(DC)の2つの重要なコンポーネントを組み込んだモデルを紹介します。
  論文  参考訳（メタデータ） (2025-04-07T16:03:59Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。