論文の概要: Here is a GIFT: Enforcing User Data Isolation in LLM Serving via GPU Information Flow Tracking

• arxiv url: http://arxiv.org/abs/2608.25431v1
• Date: Wed, 26 Aug 2026 06:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.625127
• Title: Here is a GIFT: Enforcing User Data Isolation in LLM Serving via GPU Information Flow Tracking
• Title（参考訳）: GIFT:GPU情報フロートラッキングによるLLMサービングにおけるユーザデータ分離の実施
• Abstract要約: GIFTは、LLMサービスでユーザデータを分離するGPU情報フロートラッキングシステムである。 GIFTは非侵襲的で、CPUサイドのサービスフレームワークを自由に進化させることができる。
• 参考スコア（独自算出の注目度）: 7.16660092843965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM serving frameworks process large volumes of user data--often containing sensitive information--on shared infrastructure. Ensuring isolation between users who share the same serving framework (on CPUs) and LLM operators (on GPUs) is critical for privacy protection. This paper presents GIFT, a GPU Information Flow Tracking system that enforces user data isolation in LLM serving with minimal overhead. Moreover, the design of GIFT is non-intrusive and allows CPU-side serving frameworks to evolve freely. It rests on two key insights. First, encryption-as-isolation leverages the observation that CPU components only orchestrate data flow, not content manipulation; thus, per-user encryption can provide isolation without modifying serving logic. Second, GPU kernels exhibit limited and predictable information flows, enabling static flow analysis. GIFT precomputes information flow rules for each kernel and uses decoupled flow tracking, avoiding instrumentation or GPU stalls. Furthermore, we extend GIFT to GIFT-CC, which integrates confidential computing to protect against untrusted operating systems and hypervisors (LLM service providers). Implemented on vLLM and DistServe, GIFT and GIFT-CC enforce user data isolation with a 4-10.7% throughput overhead while maintaining the same latency level.
• Abstract（参考訳）: LLMサービスフレームワークは大量のユーザデータを処理します。 CPUで同じサービスフレームワーク(LLM演算子)を共有するユーザとGPUでLLM演算子(LLM演算子)の分離を保証することは、プライバシ保護に不可欠である。 本稿では,LLMにおけるユーザデータ分離を最小限のオーバーヘッドで実現するGPU情報フロー追跡システムであるGIFTを提案する。 さらに、GIFTの設計は邪魔にならないので、CPUサイドのサービスフレームワークを自由に進化させることができる。 それは2つの重要な洞察に依存します。 まず、暗号化・アズ・アイソレーションは、CPUコンポーネントがコンテンツ操作ではなくデータフローのみをオーケストレーションする、という観察を活用する。 第二に、GPUカーネルは限定的で予測可能な情報フローを示し、静的なフロー解析を可能にする。 GIFTは各カーネルのインフォメーションフロールールをプリ計算し、分離されたフロートラッキングを使用し、インスツルメンテーションやGPUストールを回避する。 さらに,信頼できないオペレーティングシステムやハイパーバイザ(LLMサービスプロバイダ)から保護するために,機密計算を統合したGIFT-CCに拡張する。 vLLMとDistServeに実装されたGIFTとGIFT-CCは、同じレイテンシレベルを維持しながら、4-10.7%のスループットオーバーヘッドでユーザデータの分離を強制する。

関連論文リスト

• SpliTEE: Improving LLM Inference on Trusted Hardware with Differentially Private GPU Outsourcing [0.8446353882843086]
  大きな言語モデル(LLM)に提供されるユーザプロンプトには、リモートでデプロイされたモデルによって誤用される可能性のある機密情報やプライベート情報が含まれる可能性がある。 ユーザプロンプトを保護する1つの方法は、信頼された実行環境(TEE)内でLLMを実行することである。 我々は,Intel TDX を用いてアーキテクチャを実装し,Llama-3.2-3B と Qwen3-4B の2つの LLM を用いてアーキテクチャを評価する。
  論文  参考訳（メタデータ） (2026-09-14T04:55:17Z)
• More Granular, Less Trust: Enforcing Intra-Process Isolation with Arm CCA in an Untrusted Management Environment [15.118579654055603]
  CCAegisはArm Confidential Compute Architecture(CCA)を拡張して、機密データと操作をプロセス内で分離するシステムである。 CCAegisは、実際の暗号化ワークロードのオリジナルバージョンと比較して1.01xから1.43倍のパフォーマンスオーバーヘッドがあるため、センシティブなデータや操作を効果的に分離する。
  論文  参考訳（メタデータ） (2026-08-20T21:42:16Z)
• FiLark: a streaming-first software framework for end-to-end exploration, annotation, and algorithm integration in distributed acoustic sensing [7.3952570413177705]
  FiLarkはPythonフレームワークで、データアクセス、信号処理、可視化、DASの監視において、emph-streaming-first原則を均一に適用する。
  論文  参考訳（メタデータ） (2026-05-19T17:17:02Z)
• AIvailable: A Software-Defined Architecture for LLM-as-a-Service on Heterogeneous and Legacy GPUs [0.5863360388454261]
  低コストで高可用性のLLM-as-a-Service(LLM)プラットフォームであるAIvailableを紹介します。 ソフトウェア定義のアプローチを使用して、異種およびレガシGPUノード上でLLMを実行する。 統合されたクライアントインターフェースを備えており、すべてのデプロイされたLLMとのシームレスなインタラクションを可能にします。
  論文  参考訳（メタデータ） (2025-11-06T14:19:57Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
  大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。 この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。 本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T05:01:09Z)
• Defeating Prompt Injections by Design [79.00910871948787]
  CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。 CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。 セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
  論文  参考訳（メタデータ） (2025-03-24T15:54:10Z)
• Data-Oblivious ML Accelerators using Hardware Security Extensions [9.716425897388875]
  アウトソース計算は、クライアントデータの機密性を危険にさらす可能性がある。 Gemmini行列乗算加速器にDIFTを適用したDolmaを開発した。 Dolmaは大きな構成で低いオーバーヘッドを発生させることを示す。
  論文  参考訳（メタデータ） (2024-01-29T21:34:29Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。