論文の概要: SparSEEty: Extracting Tokens from Sparsity-Exploiting LLM Serving Systems via Deterministic Side Channels

• arxiv url: http://arxiv.org/abs/2608.02995v1
• Date: Tue, 04 Aug 2026 01:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.986008
• Title: SparSEEty: Extracting Tokens from Sparsity-Exploiting LLM Serving Systems via Deterministic Side Channels
• Title（参考訳）: SparSEEty:決定論的側流路による疎開型LCMサービングシステムからのトークン抽出
• Abstract要約: 本稿では,入力依存型ニューロンの重み付けを利用した新しいトークン抽出攻撃であるSparSEEtyを提案する。 我々は、Intel TDXシークレット仮想マシン(CVM)内で保護されたLLMサービスシステムに対してSparSEEtyをインスタンス化する。 評価の結果,SparSEEtyはBLEUスコアを一定に高め,プロンプトトークンと応答トークンの両方を再構成できることがわかった。
• 参考スコア（独自算出の注目度）: 7.346509996674985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern large language models (LLMs) exhibit activation sparsity, wherein only a subset of their neurons is activated for given input tokens. Researchers have leveraged this property to optimize LLM serving systems by omitting weight accesses and computations pertaining to inactive neurons. Unfortunately, however, such optimizations create input-dependent weight accesses, which can be leaked over side channels. We present SparSEEty, a new token extraction attack that exploits input-dependent neuron weight accesses introduced by sparsity-exploiting LLM serving systems. SparSEEty first constructs a neuron-activation oracle using neuron weight access side channels during LLM inference, and then inverts the activation traces to reconstruct the input tokens, forming an end-to-end token extraction attack. We instantiate SparSEEty against an LLM serving system protected inside an Intel TDX confidential virtual machine (CVM), addressing three key challenges: (i) constructing a neuron-activation oracle using a combination of side channels exposed by CVMs, (ii) reducing inference-time overheads of neuron activation monitoring for covertness, and (iii) accurately inverting partial binary activation traces back to tokens. Our evaluation shows that SparSEEty can reconstruct both prompt and response tokens with consistently high BLEU scores (>0.95) across various models and datasets, while incurring monitoring overheads of 3.7% to 7.2%.
• Abstract（参考訳）: 現代の大きな言語モデル(LLM)は活性化空間を示し、与えられた入力トークンに対してニューロンのサブセットのみが活性化される。 研究者はこの特性を利用して、不活性ニューロンに関するウェイトアクセスと計算を省略し、LLMサービスシステムの最適化を行っている。 しかし残念なことに、このような最適化は入力依存のウェイトアクセスを生成し、サイドチャネルにリークする可能性がある。 SparSEEtyという新しいトークン抽出攻撃は、スペーサ性露光LDMサービスシステムによって導入された入力依存ニューロンのウェイトアクセスを利用する。 SparSEEtyは、まずLLM推論中にニューロンの重み付け側チャネルを使用してニューロン活性化オラクルを構築し、次に活性化トレースを反転させて入力トークンを再構築し、エンドツーエンドのトークン抽出攻撃を形成する。 我々は、Intel TDXシークレット仮想マシン(CVM)内で保護されているLLMサービスシステムに対してSparSEEtyをインスタンス化する。 i)CVMが露出する側チャネルの組み合わせを用いたニューロン活性化オラクルの構築 二 隠蔽のためのニューロン活性化監視の推測時間オーバーヘッドを低減すること、及び (iii) 部分的なバイナリアクティベーションを正確に反転させることはトークンに遡る。 我々の評価によると、SparSEEtyは、さまざまなモデルやデータセットに対して、常に高いBLEUスコア(>0.95)でプロンプトトークンとレスポンストークンの両方を再構築でき、監視オーバーヘッドは3.7%から7.2%である。

関連論文リスト

• ERA: Entropy-Guided Visual Token Pruning with Rectified Attention for Efficient MLLMs [77.57757084153083]
  本稿では,効率的なMLLMを実現するために,Rectified Attention を用いたエントロピー誘導型ビジュアルトークン解析フレームワーク ERA を提案する。 ERAはDEP(Dual-view Entropy Pruning)、BTR(Bias-Aware Tokencycle)、LAR(Logit-Reserving Attention Rectification)の3つの重要な構成要素から構成される。
  論文  参考訳（メタデータ） (2026-06-30T17:20:29Z)
• Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
  om-LLMの層単位でのトークン依存性を解析する。 効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:55:16Z)
• Spike-driven Large Language Model [49.52947423982696]
  スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。 現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。 本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
  論文  参考訳（メタデータ） (2026-04-11T17:58:35Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
  単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。 フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。 3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
  論文  参考訳（メタデータ） (2025-11-28T15:22:52Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• RedundancyLens: Revealing and Exploiting Visual Token Processing Redundancy for Efficient Decoder-Only MLLMs [38.34856927170692]
  MLLM(Multimodal Large Language Model)の学習用フレームワークを提案する。 Probe-Activated Dynamic FFNとHollow Attentionで構成されており、ビジュアルトークンの計算の調整可能な削減を可能にする。 実験では、デコーダのみのMLLMに特有の、実質的で、構造化され、クラスタ化された冗長性を示す。
  論文  参考訳（メタデータ） (2025-01-31T11:09:16Z)
• Achieving Sparse Activation in Small Language Models [9.05326883263473]
  スパースアクティベーション(sparse activation)は、再訓練や適応をすることなく、LLM(Large Language Models)の計算コストを削減できる手法である。 本稿では,小言語モデル(SLM)におけるスパースアクティベーションの実現を目指す。 まず, ニューロンの出力大小をベースとしたLLMのスパース活性化スキームはSLMには適用できないことを示し, その属性スコアに基づいてニューロンを活性化することがよりよい選択肢であることを示した。
  論文  参考訳（メタデータ） (2024-06-03T03:21:49Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training [18.521882534906972]
  我々は,同じ物理ニューロンの集合をバッチ内にドロップアウトし,列(ロー)レベルの隠された状態空間を作り出すことにより,ドロップアウトパターンを構築することを提案する。 PTBデータセットに基づく言語モデリング、IWSLT De-EnデータセットとEn-Viデータセットを用いたOpenNMTベースの機械翻訳、エンティティ認識シーケンスラベリングの3つの代表的なNLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-22T22:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。