論文の概要: SecFormer: Fast and Accurate Privacy-Preserving Inference for Transformer Models via SMPC

• arxiv url: http://arxiv.org/abs/2401.00793v4
• Date: Sat, 14 Dec 2024 02:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:01.598095
• Title: SecFormer: Fast and Accurate Privacy-Preserving Inference for Transformer Models via SMPC
• Title（参考訳）: SecFormer:SMPCによるトランスフォーマーモデルの高速かつ正確なプライバシ保護推論
• Authors: Jinglong Luo, Yehong Zhang, Zhuo Zhang, Jiaqi Zhang, Xin Mu, Hui Wang, Yue Yu, Zenglin Xu,
• Abstract要約: 本稿では,Transformer モデルに対する高速かつ正確な PPI を実現するための SecFormer という包括的 PPI フレームワークを提案する。 効率面では、SecFormerはBERT$_textBASE$とBERT$_textLARGE$のPUMAよりも3.57倍速い。
• 参考スコア（独自算出の注目度）: 34.63351580241698
• License:
• Abstract: With the growing use of Transformer models hosted on cloud platforms to offer inference services, privacy concerns are escalating, especially concerning sensitive data like investment plans and bank account details. Secure Multi-Party Computing (SMPC) emerges as a promising solution to protect the privacy of inference data and model parameters. However, the application of SMPC in Privacy-Preserving Inference (PPI) for Transformer models often leads to considerable slowdowns or declines in performance. This is largely due to the multitude of nonlinear operations in the Transformer architecture, which are not well-suited to SMPC and difficult to circumvent or optimize effectively. To address this concern, we introduce a comprehensive PPI framework called SecFormer to achieve fast and accurate PPI for Transformer models. We successfully eliminate the high-cost exponential and maximum operations in PPI without sacrificing model performance and develop a suite of efficient SMPC protocols by employing suitable numerical computation methods to boost other complex nonlinear functions in PPI, including GeLU, LayerNorm, and a redesigned Softmax. Our extensive experiments reveal that SecFormer outperforms MPCFormer in performance, showing improvements of $3.4\%$ and $24.7\%$ for BERT$_{\text{BASE}}$ and BERT$_{\text{LARGE}}$, respectively. In terms of efficiency, SecFormer is 3.57 and 3.58 times faster than PUMA for BERT$_{\text{BASE}}$ and BERT$_{\text{LARGE}}$, demonstrating its effectiveness and speed.
• Abstract（参考訳）: クラウドプラットフォームにホストされたTransformerモデルを使用して推論サービスを提供することで、特に投資計画や銀行口座の詳細といった機密データに関して、プライバシの懸念がエスカレートしている。 SMPC(Secure Multi-Party Computing)は、推論データとモデルパラメータのプライバシを保護するための、有望なソリューションとして登場した。 しかし、トランスフォーマーモデルに対するプライバシ保存推論(PPI)へのSMPCの適用は、性能の大幅な低下や低下につながることが多い。 主にトランスフォーマーアーキテクチャにおける非線形操作の多さによるものであり、SMPCには不適であり、効果的に回避または最適化することが困難である。 この問題に対処するため,Transformer モデルに対する高速かつ正確な PPI を実現する SecFormer と呼ばれる包括的 PPI フレームワークを導入する。 GeLUやLayerNorm,再設計されたSoftmaxなど,PPIの他の複雑な非線形関数を向上するために,適切な数値計算手法を用いて,モデル性能を犠牲にすることなく,PPIの高速指数関数および最大演算を除去し,効率的なSMPCプロトコルスイートを開発する。 我々の広範な実験によると、SecFormerはMPCFormerのパフォーマンスより優れており、BERT$_{\text{BASE}}$とBERT$_{\text{LARGE}}$に対して、それぞれ3.4\%$と24.7\%$の改善が示されている。 効率面では、SecFormerはBERT$_{\text{BASE}}$とBERT$_{\text{LARGE}}$のPUMAよりも3.57倍速い。

関連論文リスト

• Accelerating Private Large Transformers Inference through Fine-grained Collaborative Computation [8.859237832459876]
  FASTLMPIは、微粒な最適化により、プライベートなTBM推論を高速化する新しい手法である。 具体的には、ホモモルフィック暗号化と秘密共有の詳細な共設計により、FASTLMPIは行列乗算、SoftMax、LayerNorm、GeLULUの効率的なプロトコルを実現する。 FASTLMPIは、実行時の54%から64%の大幅な減少と、通信コストの72.2%の大幅な削減を示している。
  論文  参考訳（メタデータ） (2024-12-21T08:33:12Z)
• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• AdaPI: Facilitating DNN Model Adaptivity for Efficient Private Inference in Edge Computing [20.11448308239082]
  AdaPIは、多様なエネルギー予算を持つエッジデバイス間でモデルをうまく動作させることにより、適応的なPIを実現する新しいアプローチである。 AdaPIは各エネルギー予算に対して最適な精度を達成し、CIFAR-100の試験精度で最先端のPI手法を7.3%上回っている。
  論文  参考訳（メタデータ） (2024-07-08T05:58:49Z)
• Ditto: Quantization-aware Secure Inference of Transformers upon MPC [5.161569981377991]
  我々は、より効率的な量子化対応セキュアトランスフォーマー推論を実現するために、Dittoというフレームワークを提案する。 本稿では,Bert モデルと GPT2 モデルを用いて,Ditto の性能評価を行う。 その結果、DittoはMPCFormerより約$3.14sim 4.40times、最先端のPUMAより$1.44sim 2.35timesが速いことがわかった。
  論文  参考訳（メタデータ） (2024-05-09T03:28:16Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• East: Efficient and Accurate Secure Transformer Framework for Inference [7.887332345182056]
  本稿では,効率的なセキュアトランスフォーマー推論を実現するためのフレームワークemphEastを提案する。 Ironと比較して、1.2$times$ローランタイム内で、約1.8$times$ロー通信を実現しています。
  論文  参考訳（メタデータ） (2023-08-19T06:26:14Z)
• MPCFormer: fast, performant and private Transformer inference with MPC [64.23599808800738]
  セキュアなマルチパーティ計算(MPC)と知識蒸留(KD)を用いたフレームワークMPCFORMERを設計する。 MPCFORMERは入力モデルに類似したML性能を実現しつつ、MPC設定でのTransformerモデル推論を著しく高速化する。 MPCFORMER は ROBERTABASE や BERTLarge などの大型モデルのような異なる訓練されたトランスフォーマーウェイトで有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-02T19:43:22Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。