論文の概要: SpliTEE: Improving LLM Inference on Trusted Hardware with Differentially Private GPU Outsourcing

• arxiv url: http://arxiv.org/abs/2609.15039v1
• Date: Mon, 14 Sep 2026 04:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.079056
• Title: SpliTEE: Improving LLM Inference on Trusted Hardware with Differentially Private GPU Outsourcing
• Title（参考訳）: SpliTEE: 異なるプライベートGPUアウトソーシングによる信頼されたハードウェア上のLLM推論の改善
• Abstract要約: 大きな言語モデル(LLM)に提供されるユーザプロンプトには、リモートでデプロイされたモデルによって誤用される可能性のある機密情報やプライベート情報が含まれる可能性がある。 ユーザプロンプトを保護する1つの方法は、信頼された実行環境(TEE)内でLLMを実行することである。 我々は,Intel TDX を用いてアーキテクチャを実装し,Llama-3.2-3B と Qwen3-4B の2つの LLM を用いてアーキテクチャを評価する。
• 参考スコア（独自算出の注目度）: 0.8446353882843086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User prompts provided to large language models (LLMs) may contain sensitive or private information that can be misused by remotely deployed models, such as through inadvertent memorization during retraining. One way to protect user prompts is to execute the LLM inside a trusted execution environment (TEE), with the guarantee that the service provider has no access to computations performed within or information exchanged with the TEE. However, current TEEs are primarily CPU-based and significantly slower than GPUs optimized for LLM inference. To circumvent this, Tramer and Boneh (2019) proposed Slalom, which splits neural network inference between a TEE and an untrusted GPU and encrypts intermediate inputs sent to the GPU. We extend this split-inference architecture to LLM inference and instead protect intermediate inputs using differential privacy. We show that masking intermediate representations is necessary by showing that a prompt-reconstruction attack can recover prompts from these representations with nearly 80% accuracy. Our main contribution is a global sensitivity analysis of key LLM functions, which bounds the required scale of differentially private noise. Unlike encryption, differential privacy avoids quantization, allowing the LLM to remain in the floating-point domain. We also derive an upper bound on floating-point error from masking and noise cancellation in the TEE as a function of the privacy parameter epsilon. We implement our architecture using Intel TDX and evaluate it with two LLMs: Llama-3.2-3B and Qwen3-4B. Our split execution is nearly twice as fast as fully CPU-based inference inside TDX and 5-15 seconds faster than encryption-based Slalom while achieving higher accuracy. Finally, we demonstrate that prompt reconstruction, even with knowledge of the differential privacy mechanism, cannot recover more information than is contained in an unrelated prompt.
• Abstract（参考訳）: 大きな言語モデル(LLM)に提供されるユーザプロンプトには、再トレーニング中の不注意な暗記など、リモートでデプロイされたモデルによって誤用される可能性のある機密情報やプライベート情報が含まれている可能性がある。 ユーザプロンプトを保護する1つの方法は、信頼された実行環境(TEE)内でLLMを実行することである。 しかし、現在のTEEは主にCPUベースであり、LLM推論に最適化されたGPUよりも大幅に遅い。 これを回避するため、Tramer and Boneh (2019)は、ニューラルネットワークの推論をTEEと信頼できないGPUに分割し、GPUに送信された中間入力を暗号化するSlalomを提案した。 この分割推論アーキテクチャをLSM推論に拡張し、代わりに差分プライバシーを用いて中間入力を保護する。 本研究では, プロンプト・リコンストラクション・アタックが, 80%近い精度でこれらの表現からプロンプトを復元できることを示すことで, 中間表現をマスキングする必要があることを示す。 我々の主な貢献は、重要なLLM関数のグローバル感度解析であり、これは微分プライベートノイズのスケールを限定している。 暗号化とは異なり、差分プライバシーは量子化を避け、LLMは浮動小数点領域に留まる。 また、プライバシパラメータ・エプシロンの関数として、TEEにおけるマスキングとノイズキャンセリングから浮動小数点誤差の上限を導出する。 我々は,Intel TDX を用いてアーキテクチャを実装し,Llama-3.2-3B と Qwen3-4B の2つの LLM を用いてアーキテクチャを評価する。 我々のスプリット実行は、TDX内の完全なCPUベースの推論の約2倍の速さで、暗号化ベースのSlalomよりも5～15秒速く、精度は高い。 最後に、差分プライバシー機構の知識があっても、無関係なプロンプトに含まれる情報以上の情報を復元できないことを実証する。

関連論文リスト

• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• Communication-Efficient Verifiable Attention for LLM Inference [10.639156521036965]
  本稿では,検証可能なLLM推論を高速化するための通信効率の高いTEE-GPUアテンション(textscVeriAttn)を提案する。 textscVeriAttnは、線形計算と非線形計算の両方をGPUにオフロードし、TEEは検証を実行する。 デコーディングでは、キー値キャッシュが利用可能なGPUメモリを超えると、textscVeriAttnはTEEとGPU間で注意を分割し、繰り返しキー値転送を減らす。
  論文  参考訳（メタデータ） (2026-06-15T07:50:15Z)
• TensorCommitments: A Lightweight Verifiable Inference for Language Models [8.140218773902044]
  大規模言語モデル(LLM)のためのテンソルネイティブな推論手法を提案する。 コミット(TCs)は、推論をコミットメントに結び付ける。 LLaMA2では、TCは0.97%の証明時間と0.12%の検証時間を加味し、検証GPUを必要とする最高の作業に対して最大48%の堅牢性を向上した。
  論文  参考訳（メタデータ） (2026-02-13T05:23:31Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
  本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。 DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する 単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
  論文  参考訳（メタデータ） (2025-12-07T06:11:15Z)
• TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [8.538298365840877]
  モバイルデバイスにデプロイされる大規模言語モデル(LLM)は、ユーザのプライバシやネットワーク遅延の低減といったメリットを提供するが、重大なセキュリティリスクをもたらす。 我々は、Arm Trusted Execution Environment (TEE)、TrustZoneを用いて、デバイス上でのLDMを保護するシステム設計を提案する。
  論文  参考訳（メタデータ） (2025-11-17T18:59:20Z)
• Confidential LLM Inference: Performance and Cost Across CPU and GPU TEEs [16.49726695421423]
  大規模言語モデル(LLM)は、収束したクラウドと高性能コンピューティングインフラストラクチャにますますデプロイされている。 LLMが機密入力を処理するため、セキュリティ要件が高められ、医療や金融といったプライバシーに敏感な分野への採用が遅れる。 エンド・ツー・エンドのLSM推論のためのソリューションとして,Trusted Execution Environments (TEEs)を提案する。
  論文  参考訳（メタデータ） (2025-09-23T10:36:47Z)
• Towards Confidential and Efficient LLM Inference with Dual Privacy Protection [11.22744810136105]
  本稿では,信頼度の高いモデル推論フレームワークCMIFを提案する。 CMIFは秘密裏に、クライアントサイドのTEEとその後のレイヤに埋め込み層をGPUサーバにデプロイする。 また、Report-Noisy-Max機構を最適化し、モデル性能をわずかに低下させて機密入力を保護する。
  論文  参考訳（メタデータ） (2025-09-11T01:54:13Z)
• DP-Fusion: Token-Level Differentially Private Inference for Large Language Models [51.71591819896191]
  大規模言語モデル(LLM)は、推論時にプライバシを保存しない。 DP-Fusion は LLM の出力にコンテキスト内のトークンの集合が持つ影響を証明的に束縛する。 提案手法は, 理論的および実証的プライバシを大幅に改善した, 証明可能な民営化文書を作成する。
  論文  参考訳（メタデータ） (2025-07-06T20:49:39Z)
• InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU [48.105361428245736]
  大規模言語モデル(LLM)の推論フレームワークであるInfiniteHiPを紹介する。 モジュール型階層型トークンプルーニングアルゴリズムにより,無関係なコンテキストトークンを動的に除去する。 我々のフレームワークは、追加のトレーニングを必要とせず、100万のトークンコンテキストに対して18.95倍のアテンションデコーディングを実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:52:01Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。