論文の概要: Breaking the Layer Barrier: Remodeling Private Transformer Inference with Hybrid CKKS and MPC

• arxiv url: http://arxiv.org/abs/2508.19525v2
• Date: Mon, 01 Sep 2025 13:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 12:29:36.797052
• Title: Breaking the Layer Barrier: Remodeling Private Transformer Inference with Hybrid CKKS and MPC
• Title（参考訳）: 層バリアの破壊:ハイブリッドCKKSとMPCによるプライベートトランスフォーマー推論のモデル化
• Authors: Tianshi Xu, Wen-jie Lu, Jiangrui Yu, Chen Yi, Chenqi Lin, Runsheng Wang, Meng Li,
• Abstract要約: 本稿では,同型暗号化(HE)とセキュアマルチパーティ計算(MPC)を組み合わせてデータプライバシ保護を行う,プライベートトランスフォーマー推論のための効率的なフレームワークを提案する。 BLBと呼ばれる提案されたフレームワークは、層をきめ細かな演算子に分解し、隣接する線形演算子をさらに融合することでこれを克服し、HE/MPC変換の必要性を低減している。 BLB は BOLT (S&P'24) と比較して通信オーバーヘッドを 21 時間削減し、Bumblebee (NDSS'25) よりも 2 時間削減し、レイテンシーを 13 時間短縮し 1.8 ドルを達成する。
• 参考スコア（独自算出の注目度）: 16.452180247201948
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents an efficient framework for private Transformer inference that combines Homomorphic Encryption (HE) and Secure Multi-party Computation (MPC) to protect data privacy. Existing methods often leverage HE for linear layers (e.g., matrix multiplications) and MPC for non-linear layers (e.g., Softmax activation functions), but the conversion between HE and MPC introduces significant communication costs. The proposed framework, dubbed BLB, overcomes this by breaking down layers into fine-grained operators and further fusing adjacent linear operators, reducing the need for HE/MPC conversions. To manage the increased ciphertext bit width from the fused linear operators, BLB proposes the first secure conversion protocol between CKKS and MPC and enables CKKS-based computation of the fused operators. Additionally, BLB proposes an efficient matrix multiplication protocol for fused computation in Transformers. Extensive evaluations on BERT-base, BERT-large, and GPT2-base show that BLB achieves a $21\times$ reduction in communication overhead compared to BOLT (S\&P'24) and a $2\times$ reduction compared to Bumblebee (NDSS'25), along with latency reductions of $13\times$ and $1.8\times$, respectively, when leveraging GPU acceleration.
• Abstract（参考訳）: 本稿では,同型暗号化(HE)とセキュアマルチパーティ計算(MPC)を組み合わせてデータプライバシ保護を行う,プライベートトランスフォーマー推論のための効率的なフレームワークを提案する。 既存の手法では、線形層(例:行列乗法)や非線形層(例:ソフトマックスアクティベーション関数)でHEを利用することが多いが、HEとMPCの変換は通信コストを大幅に上回っている。 BLBと呼ばれる提案されたフレームワークは、層をきめ細かな演算子に分解し、隣接する線形演算子をさらに融合することでこれを克服し、HE/MPC変換の必要性を低減している。 融合線形演算子から増大する暗号文ビット幅を管理するため、BLBはCKKSとMPCの間の最初のセキュアな変換プロトコルを提案し、融合演算子のCKKSに基づく計算を可能にする。 さらに、BLBは変換器の融合計算のための効率的な行列乗算プロトコルを提案する。 BERT-base、BERT-large、GPT2-baseの大規模な評価によると、BLBは、BOLT(S\&P'24)と比較して通信オーバーヘッドの21ドル、Bumblebee(NDSS'25)に比べて2ドル、GPUアクセラレーションを利用する場合には13ドル、1.8ドルという遅延削減を実現している。

関連論文リスト

• Privacy-Preserving Inference for Quantized BERT Models [13.36359444231145]
  量子化は浮動小数点演算を低精度整数計算に変換することで有望な解を提供する。 本研究では, 層単位での微細な量子化手法を提案し, 1ビットの重み付き全連結層をセキュアな設定で支持する。
  論文  参考訳（メタデータ） (2025-08-03T07:52:08Z)
• Guard-GBDT: Efficient Privacy-Preserving Approximated GBDT Training on Vertical Dataset [15.175697228634979]
  Guard-GBDTは、垂直データセット上での効率的でプライバシ保護のGBDTトレーニングに適した、革新的なフレームワークである。 Guard-GBDTのプロトタイプを実装し、その性能と精度を様々な実世界のデータセットで広範囲に評価する。
  論文  参考訳（メタデータ） (2025-07-28T10:16:37Z)
• Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• Accelerating Private Large Transformers Inference through Fine-grained Collaborative Computation [8.859237832459876]
  FASTLMPIは、微粒な最適化により、プライベートなTBM推論を高速化する新しい手法である。 具体的には、ホモモルフィック暗号化と秘密共有の詳細な共設計により、FASTLMPIは行列乗算、SoftMax、LayerNorm、GeLULUの効率的なプロトコルを実現する。 FASTLMPIは、実行時の54%から64%の大幅な減少と、通信コストの72.2%の大幅な削減を示している。
  論文  参考訳（メタデータ） (2024-12-21T08:33:12Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Ditto: Quantization-aware Secure Inference of Transformers upon MPC [5.161569981377991]
  我々は、より効率的な量子化対応セキュアトランスフォーマー推論を実現するために、Dittoというフレームワークを提案する。 本稿では,Bert モデルと GPT2 モデルを用いて,Ditto の性能評価を行う。 その結果、DittoはMPCFormerより約$3.14sim 4.40times、最先端のPUMAより$1.44sim 2.35timesが速いことがわかった。
  論文  参考訳（メタデータ） (2024-05-09T03:28:16Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。