論文の概要: Detokenization Leaks: Reconstructing Local LLM Outputs From Cache Traces
- arxiv url: http://arxiv.org/abs/2609.06674v1
- Date: Sun, 06 Sep 2026 15:25:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.294511
- Title: Detokenization Leaks: Reconstructing Local LLM Outputs From Cache Traces
- Title(参考訳): Detokenization リーク:キャッシュトレースからローカル LLM 出力を再構築
- Abstract要約: ローカルにホストされたLCMが生成したテキストをCPUキャッシュのアクティビティを観察して再構築する新たな攻撃を提案する。
共有トークンライザコードにFlush+Reloadを使用して、デコードの発生を検知します。
次に、クラスタリング・アンド・ランゲージ・モデルパイプラインを用いて、ノイズの多いキャッシュ観測からテキストを復元する。
- 参考スコア(独自算出の注目度): 3.482776654979494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a new attack that reconstructs the text generated by locally hosted LLMs by observing CPU cache activity during detokenization. Unlike prior attacks that rely on deployment-specific assumptions, such as shared data memory, CPU offloading, or Mixture-of-Experts architectures, our approach targets the detokenizer, a component used in default LLM inference pipelines. To obtain clean signals, we use Flush+Reload on shared tokenizer code to detect when decoding occurs, which lets us perform Prime+Probe at the right moment and isolate token-dependent cache activity. We then apply a clustering-and-language-model pipeline to recover text from noisy cache observations. We evaluate the attack across multiple datasets, hardware platforms, inference frameworks, and model families, and show that it can recover semantically accurate outputs from real-world local LLM deployments, including agentic systems. This vulnerability is particularly significant because the most widely used tokenizer implementations are susceptible to the attack and are embedded in many popular local LLM products and agent frameworks, including systems such as OpenClaw (which we demonstrate), substantially broadening the practical attack surface.
- Abstract(参考訳): 本稿では,ローカルにホストされたLCMが生成したテキストをデトケナイズ時にCPUキャッシュの動作を観察して再構築する新たな攻撃法を提案する。
共有データメモリやCPUオフロード、Mixture-of-Expertsアーキテクチャといった、デプロイメント固有の前提に依存する以前の攻撃とは異なり、私たちのアプローチはデフォルトのLCM推論パイプラインで使用されるコンポーネントであるdetokenizerをターゲットにしています。
クリーンな信号を得るために、共有トークンライザコードにFlush+Reloadを使用して、デコードの発生を検知し、適切なタイミングでPrime+Probeを実行し、トークン依存キャッシュアクティビティを分離します。
次に、クラスタリング・アンド・ランゲージ・モデルパイプラインを用いて、ノイズの多いキャッシュ観測からテキストを復元する。
複数のデータセット、ハードウェアプラットフォーム、推論フレームワーク、モデルファミリーにわたる攻撃を評価し、エージェントシステムを含む実世界のローカルLCMデプロイメントから意味論的に正確なアウトプットを復元可能であることを示す。
この脆弱性は、最も広く使われているトークンライザの実装が攻撃の影響を受けやすく、OpenClaw(英語版)のような多くのローカルなLCM製品やエージェントフレームワークに埋め込まれており、実用的な攻撃面を大きく広げているため、特に重要である。
関連論文リスト
- Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders [54.06522068041745]
VLM(Vision-Language Models)は、拡散に基づく画像編集の条件付バックボーンとしてますます利用されている。
スタンドアロンのVLMは強力なローカライゼーション機能を示しているが、パイプラインの編集はこの精度を維持するのに苦労することが多い。
本研究では,VLMを条件エンコーダとして扱うことに起因することを仮説として,この性能ギャップについて検討する。
論文 参考訳(メタデータ) (2026-07-07T16:11:13Z) - Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。
SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。
本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-24T18:59:05Z) - PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization [0.0]
本稿では,シールド付加によるシステムプロンプト硬化のための新しいフレームワークを提案する。
我々は、LSM-as-optimizerを利用してShiELDの空間を探索し、敵攻撃の組から導かれる漏洩量を最小限に抑える。
最適化されたShielDは、包括的な抽出攻撃に対する急激なリークを著しく低減することを示した。
論文 参考訳(メタデータ) (2025-11-20T10:25:45Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。
現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文 参考訳(メタデータ) (2025-08-04T16:14:03Z) - LeakSealer: A Semisupervised Defense for LLMs Against Prompt Injection and Leakage Attacks [7.115093658017371]
LeakSealerは、法医学的な洞察のための静的分析とHuman-In-The-Loopパイプラインの動的防御を組み合わせた、モデルに依存しないフレームワークである。
筆者らはLeakSealerを,(1)公開ベンチマークデータセットを用いたジェイルブレイクの試み,(2)ラベル付きLLMインタラクションのキュレートデータセットによってサポートされているPIIリークの2つのシナリオで実証的に評価した。
論文 参考訳(メタデータ) (2025-08-01T13:04:28Z) - I Know What You Said: Unveiling Hardware Cache Side-Channels in Local Large Language Model Inference [19.466754645346175]
ローカルにデプロイ可能な大規模言語モデル(LLM)は、最近、プライバシに敏感なタスクで人気を集めている。
ローカルLSM推論に新たなサイドチャネル脆弱性が出現し、被害者の入力テキストと出力テキストの両方を公開できる。
我々は,オープンソースのLLM推論システムとプロプライエタリなLLM推論システムの両方を対象として,新しい盗聴攻撃フレームワークを設計する。
論文 参考訳(メタデータ) (2025-05-10T19:06:37Z) - Spill The Beans: Exploiting CPU Cache Side-Channels to Leak Tokens from Large Language Models [4.5987419425784966]
LLM(Large Language Models)によって生成されるトークンをリークするキャッシュサイドチャネルの新しいアプリケーションであるSpill The Beansを紹介します。
重要な課題はLLMの大規模化であり、計算集約的な操作の性質上、キャッシュからベクターを埋め込むことがすぐになくなる。
より多くのトークンの監視は語彙リークの可能性を増大させるが、消去によってキャッシュがヒットする可能性を高める。
LLMの展開には新たな脆弱性があり、高度なモデルでさえ従来のサイドチャネル攻撃の影響を受けやすいことが判明した。
論文 参考訳(メタデータ) (2025-05-01T19:18:56Z) - Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。
非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-03-18T09:04:37Z) - The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [35.51755444106282]
新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。
これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。
キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-09-30T06:55:00Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z) - Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。