論文の概要: Bifrost: Hybrid TEE-FHE Inference for Privacy-Preserving Transformer and LLM Serving

• arxiv url: http://arxiv.org/abs/2606.17421v1
• Date: Tue, 16 Jun 2026 02:06:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.214056
• Title: Bifrost: Hybrid TEE-FHE Inference for Privacy-Preserving Transformer and LLM Serving
• Title（参考訳）: Bifrost: プライバシ保護トランスとLLMサービングのためのハイブリッドTEE-FHE推論
• Authors: Chenghao Chen, Kailun Qin, Xiaolin Zhang, Chi Zhang, Dawu Gu,
• Abstract要約: クラウドホスト型トランスフォーマーと大規模言語モデル(LLM)推論は、直接機密性の問題を引き起こす。 我々は、秘密が証明されたCPU TEEにのみプロビジョニングされるハイブリッドTEE-FHEサービスアーキテクチャであるBifrostを提案する。
• 参考スコア（独自算出の注目度）: 13.60206742144445
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cloud-hosted transformer and large language model (LLM) inference creates a direct confidentiality problem: user prompts may contain sensitive code, business data, personal information, or regulated documents, yet remote serving exposes intermediate state to the cloud software stack and accelerator runtime. Fully homomorphic encryption (FHE) keeps accelerator-side execution ciphertext-only, but end-to-end LLM inference remains expensive because linear layers are interleaved with non-linear, cache-state, and refresh-sensitive operators. CPU trusted execution environments (TEEs) can execute those operators natively, but a CPU TEE alone does not define how an untrusted accelerator should participate. We present Bifrost, a hybrid TEE-FHE serving architecture in which secrets are provisioned only to an attested CPU TEE, while the accelerator, device memory, driver/runtime stack, and host software remain outside the trusted computing base. Bifrost uses FHE as a secure delegation mechanism for projection and feed-forward linear layers on accelerator-backed CKKS, while non-linear operators, attention-side control logic, KV-state transitions, and decrypt-then-encrypt refresh execute inside the CPU TEE. Bifrost+ further applies a prefill/decode split: prompt-side KV state is built inside the CPU TEE, and only decode-side state enters the hybrid ciphertext path. In an estimator-style comparison matching Euston's methodology, Bifrost reduces projected latency by 9.25x on GPT-2 (1.5B) and 9.91x on LLaMA 3 (8B). In direct CKKS/FHE deployments, Bifrost+ reduces TTFT by 14.6-45.8x on GPT-2 (124M) and 15.3-53.4x on Qwen3 (0.6B). The systems lesson is selective encrypted execution: use FHE only where ciphertext-only accelerator delegation is required, and keep non-linear, refresh, and prompt-side work inside the CPU TEE.
• Abstract（参考訳）: ユーザプロンプトには機密コード、ビジネスデータ、個人情報、規制されたドキュメントが含まれますが、リモートサービスでは、中間状態をクラウドソフトウェアスタックとアクセラレータランタイムに公開します。 完全ホモモルフィック暗号化(FHE)は、アクセル側の実行暗号のみを保持するが、線形層は非線形、キャッシュ状態、リフレッシュセンシティブな演算子でインターリーブされているため、エンドツーエンドのLLM推論は高価である。 CPU信頼実行環境(TEE)は、これらの演算子をネイティブに実行できるが、CPU TEEだけでは、信頼できないアクセルがどのように参加するかを定義していない。 このアーキテクチャでは、アクセラレーション、デバイスメモリ、ドライバ/ランタイムスタック、ホストソフトウェアが信頼できるコンピューティングベース外に留まっているのに対して、秘密が証明されたCPU TEEにのみプロビジョニングされる。 Bifrost は FHE をプロジェクションとフィードフォワード線形層をアクセル支援された CKKS 上に配置するためのセキュアなデリゲート機構として使用し、非線形演算子、アテンション側制御ロジック、KV-状態遷移、CPU TEE 内部での復号化暗号化リフレッシュ実行を行う。 プロンプト側KV状態はCPU TEE内に構築され、デコード側状態のみがハイブリッド暗号パスに入る。 Eustonの手法と一致する推定器式比較では、GPT-2 (1.5B) の9.25倍、LLaMA 3 (8B) の9.91倍の遅延を減少させる。 直接のCKKS/FHE配備では、Byfrost+ は GPT-2 (124M) で 14.6-45.8x 、Qwen3 (0.6B) で 15.3-53.4x の TTFT を削減している。 FHEは暗号文のみのアクセラレータデリゲートが必要な場合にのみ使用し、CPU TEE内での非線形、リフレッシュ、プロンプトサイドの動作を維持する。

関連論文リスト

• Communication-Efficient Verifiable Attention for LLM Inference [10.639156521036965]
  本稿では,検証可能なLLM推論を高速化するための通信効率の高いTEE-GPUアテンション(textscVeriAttn)を提案する。 textscVeriAttnは、線形計算と非線形計算の両方をGPUにオフロードし、TEEは検証を実行する。 デコーディングでは、キー値キャッシュが利用可能なGPUメモリを超えると、textscVeriAttnはTEEとGPU間で注意を分割し、繰り返しキー値転送を減らす。
  論文  参考訳（メタデータ） (2026-06-15T07:50:15Z)
• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• FedBit: Accelerating Privacy-Preserving Federated Learning via Bit-Interleaved Packing and Cross-Layer Co-Design [2.255961793913651]
  完全同型暗号化(FHE)を備えたフェデレートラーニング(FL)は、モデルアグリゲーション中にデータプライバシを効果的に保護する。 FedBit は Brakerski-Fan-Vercauteren (BFV) スキームのためのハードウェア/ソフトウェアの共同設計フレームワークである。 FedBitは、ビットインターリーブデータパッキングを使用して、複数のモデルパラメータを単一の暗号係数に埋め込む。
  論文  参考訳（メタデータ） (2025-09-27T03:58:16Z)
• Fastrack: Fast IO for Secure ML using GPU TEEs [7.758531952461963]
  GPUベースのTrusted Execution Environments (TEE)はセキュアで高性能なソリューションを提供する。 CPU間通信のオーバーヘッドは性能を著しく損なう。 本稿では、Nvidia H100 TEEプロトコルを分析し、3つの重要なオーバーヘッドを特定する。 我々は,1)直接GPU TEE通信,2)並列化認証,3)PCI-e伝送による重複復号化を最適化したFastrackを提案する。
  論文  参考訳（メタデータ） (2024-10-20T01:00:33Z)
• TensorTEE: Unifying Heterogeneous TEE Granularity for Efficient Secure Collaborative Tensor Computing [13.983627699836376]
  既存の異種TEE設計は、CPUとNPU間のメモリの粒度が微妙で異なるため、協調コンピューティングでは非効率である。 安全な協調計算のための統合テンソル・グラニュラリティ異種TEEを提案する。 その結果、TEEは、既存の作業と比べて、Large Language Model(LLM)トレーニングワークロードのパフォーマンスを4.0倍改善していることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T00:35:18Z)
• Towards Effective and Efficient Non-autoregressive Decoding Using Block-based Attention Mask [74.64216073678617]
  AMDはアテンションマスクを用いて隠された出力ラベルの連続ブロック内で並列NAR推論を行う。 ビームサーチアルゴリズムは、CTC、ARデコーダ、AMD確率の動的融合を利用するように設計されている。 LibriSpeech-100hrコーパスの実験では、AMDモジュールを組み込んだトリパルタイトデコーダが最大1.73倍のデコード速度比を生み出すことを示唆している。
  論文  参考訳（メタデータ） (2024-06-14T13:42:38Z)
• HasTEE+ : Confidential Cloud Computing and Analytics with Haskell [50.994023665559496]
  信頼性コンピューティングは、Trusted Execution Environments(TEEs)と呼ばれる特別なハードウェア隔離ユニットを使用して、コテナントクラウドデプロイメントにおける機密コードとデータの保護を可能にする。 低レベルのC/C++ベースのツールチェーンを提供するTEEは、固有のメモリ安全性の脆弱性の影響を受けやすく、明示的で暗黙的な情報フローのリークを監視するための言語構造が欠如している。 私たちは、Haskellに埋め込まれたドメイン固有言語(cla)であるHasTEE+を使って、上記の問題に対処します。
  論文  参考訳（メタデータ） (2024-01-17T00:56:23Z)
• GME: GPU-based Microarchitectural Extensions to Accelerate Homomorphic Encryption [33.87964584665433]
  ホモモルフィック暗号化(FHE)は、暗号化データを復号することなく処理することができる。 FHEは、平文データを使った同じ計算と比較して最大5桁のスローダウンを導入している。 本稿では,3つのキーとなるマイクロアーキテクチャ拡張と,現在のAMD CDNA GPUアーキテクチャへのコンパイル時間最適化を組み合わせたGMEを提案する。
  論文  参考訳（メタデータ） (2023-09-20T01:50:43Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。