論文の概要: Characterizing Contention-Induced Reliability Collapse in KV-Cache Timing Side Channels for Multi-Tenant LLM Serving
- arxiv url: http://arxiv.org/abs/2609.06853v1
- Date: Sun, 06 Sep 2026 21:56:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.327123
- Title: Characterizing Contention-Induced Reliability Collapse in KV-Cache Timing Side Channels for Multi-Tenant LLM Serving
- Title（参考訳）: マルチテナントLDMサービング用KVキャッシュタイミング側チャネルにおける競合誘起信頼性の低下特性
- Abstract要約: 共有キー値(KV)キャッシュの再利用は、大きな言語モデル(LLM)サービスを改善するが、タイミング側チャネルを作成することもできる。
これまでの研究では、このような攻撃は可能だが、現実的なマルチテナント競合下での信頼性は理解されていない。
本研究では,ライブ共有LDMサービスシステムにおける7つの実験を通してこの問題について検討する。
- 参考スコア（独自算出の注目度）: 0.8325327265120284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Shared key--value (KV) cache reuse improves large language model (LLM) serving, but it can also create a timing side channel that reveals whether a prefix is already cached. Previous work shows that such attacks are possible, but their reliability under realistic multi-tenant contention is less understood. We study this problem through seven experiments on live shared LLM-serving systems. On a vLLM server running DeepSeek-R1-Distill-Llama-8B on NVIDIA GB10, mean Cohen's d drops from 0.7789 with no synthetic workers to 0.2109 with two workers (t=8.412), while higher worker counts cause no statistically detectable further loss. A 120-run sparse-overlap experiment places the best breakpoint at the boundary of the measured range (tau=0, 95% CI [0.000,0.113]), supporting an ambient-versus-loaded regime change rather than an internal physical threshold. AUROC falls from 0.650 at ambient to 0.531 near 61% overlap and partially recovers to 0.574 at saturation. Concurrency-depth variance is the strongest measured correlate of effect size (r=-0.416) and hit consistency (r=-0.637). An interleaved control preserves the same non-monotonic ordering. The main collapse is also reproduced on a real two-node, two-GPU tensor-parallel vLLM setup, where mean d falls from 3.418 to 0.511 (p<0.01). Two SGLang pilots are statistically inconclusive. Overall, KV-cache timing reliability depends strongly on the load regime and serving stack, and measurements on quiet systems can overestimate operational attack reliability.
- Abstract（参考訳）: 共有キー値(KV)キャッシュの再利用は、大きな言語モデル(LLM)サービスを改善するが、プレフィックスが既にキャッシュされているかどうかを明らかにするタイミング側チャネルを作成することもできる。
これまでの研究では、このような攻撃は可能だが、現実的なマルチテナント競合下での信頼性は理解されていない。
本研究では,ライブ共有LDMサービスシステムにおける7つの実験を通してこの問題について検討する。
NVIDIA GB10上でDeepSeek-R1-Distill-Llama-8Bを実行しているvLLMサーバでは、コーエンのdは合成労働者なしで0.7789から0.2109に減少し、2人の労働者(t=8.412)で0.2109に低下する。
120ランのスパースオーバーラップ実験では、測定範囲の境界(タウ=0, 95% CI [0.000,0.113])に最良のブレークポイントを配置し、内部の物理閾値よりも周囲の逆負荷状態の変化を支持する。
AUROCは周囲0.650から61%の重なり近く0.531に落ち、飽和時には0.574に部分的に回復する。
並行深度分散は、効果サイズ(r=-0.416)とヒット一貫性(r=-0.637)の最も強い測定相関である。
インターリーブド制御は、同じ非単調順序を保つ。
主崩壊は実2ノードの2GPUテンソル並列vLLM設定でも再現され、平均dは3.418から0.511(p<0.01)となる。
2人のSGLangパイロットは統計的に決定的ではない。
全体として、KVキャッシュのタイミング信頼性は負荷状態とサービススタックに強く依存しており、静かなシステムの測定は作戦攻撃の信頼性を過大評価することができる。
関連論文リスト
- Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。
トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。
重量のみの量子化下での活性化ステアリングを系統的に研究する。
論文 参考訳（メタデータ） (2026-09-06T08:41:42Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。
グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
論文 参考訳（メタデータ） (2026-08-06T15:38:55Z) - WitCert: Sound Runtime Risk Observability and Gating for KV-Cache Quantization [20.158719055939383]
KV-cache量子化は今日、オフラインベンチマーク平均によって検証されている。
デプロイされたシステムは、現在提供されている要求に圧縮がダメージを与えているかどうかを判断できない。
KV量子化のためのDTraceを実証可能な健全なランタイムメータとして提供します。
論文 参考訳（メタデータ） (2026-07-30T11:04:45Z) - Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。
ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。
チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
論文 参考訳（メタデータ） (2026-07-17T20:33:36Z) - From Surface Forecasting to Observability Forecasting: A Latent World Model for Cloud-Aware EO Monitoring [0.0]
予測アーキテクチャの世界モデルであるLeWorldModelをクラウド対応の地球観測シーケンスに適用する。
結果として得られたモデルは18.0Mのトレーニングパラメータを持ち、23,904のトレーニングエピソードでゼロからトレーニングされる。
LeWorldModelは、フルフリーズされたバンドルオブザーバビリティベンチマークにおいて、一貫して永続性を上回っている。
論文 参考訳（メタデータ） (2026-07-15T09:52:22Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference [0.0]
トレーニングフリー推論フレームワークであるRKSC(Reasoning-Aware KV Cache Sharing)を紹介する。
マルチブランチLPM推論パイプラインにおける2つの構造的冗長性を取り除く。
RKSCは、No-KVベースライン上での平均速度を3.008倍に向上させる。
論文 参考訳（メタデータ） (2026-06-07T21:36:20Z) - Benchmarking IoT Time-Series AD with Event-Level Augmentations [34.864214444544565]
実世界の問題をシミュレートする統合されたイベントレベル拡張による評価プロトコルを提案する。
5つの公開異常データセット上で14の代表的なモデルを評価する。
論文 参考訳（メタデータ） (2026-02-17T09:45:44Z) - Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。
複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
論文 参考訳（メタデータ） (2025-09-08T11:07:47Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - CSER: Communication-efficient SGD with Error Reset [25.883686248118398]
本稿では,エラーリセットによる通信効率のよいSGD,CSERを提案する。
CSERのキーとなるアイデアは、まず「エラーリセット」と呼ばれる新しいテクニックで、周期的なリセットで任意のモデルに適応し、局所的なエラーをもたらす。
実験の結果、CSERは10AR-100で約x、ImageNetで4.5倍の速度で分散を加速することがわかった。
論文 参考訳（メタデータ） (2020-07-26T21:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。