論文の概要: East: Efficient and Accurate Secure Transformer Framework for Inference
- arxiv url: http://arxiv.org/abs/2308.09923v1
- Date: Sat, 19 Aug 2023 06:26:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 18:57:46.843330
- Title: East: Efficient and Accurate Secure Transformer Framework for Inference
- Title(参考訳): east: 推論のための効率的で正確なセキュアトランスフォーマーフレームワーク
- Authors: Yuanchao Ding, Hua Guo, Yewei Guan, Weixin Liu, Jiarong Huo, Zhenyu
Guan, Xiyong Zhang
- Abstract要約: 本稿では,効率的なセキュアトランスフォーマー推論を実現するためのフレームワークemphEastを提案する。
Ironと比較して、1.2$times$ローランタイム内で、約1.8$times$ロー通信を実現しています。
- 参考スコア(独自算出の注目度): 7.887332345182056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer has been successfully used in practical applications, such as
ChatGPT, due to its powerful advantages. However, users' input is leaked to the
model provider during the service. With people's attention to privacy,
privacy-preserving Transformer inference is on the demand of such services.
Secure protocols for non-linear functions are crucial in privacy-preserving
Transformer inference, which are not well studied. Thus, designing practical
secure protocols for non-linear functions is hard but significant to model
performance. In this work, we propose a framework \emph{East} to enable
efficient and accurate secure Transformer inference. Firstly, we propose a new
oblivious piecewise polynomial evaluation algorithm and apply it to the
activation functions, which reduces the runtime and communication of GELU by
over 1.5$\times$ and 2.5$\times$, compared to prior arts. Secondly, the secure
protocols for softmax and layer normalization are carefully designed to
faithfully maintain the desired functionality. Thirdly, several optimizations
are conducted in detail to enhance the overall efficiency. We applied
\emph{East} to BERT and the results show that the inference accuracy remains
consistent with the plaintext inference without fine-tuning. Compared to Iron,
we achieve about 1.8$\times$ lower communication within 1.2$\times$ lower
runtime.
- Abstract(参考訳): Transformerは、ChatGPTのような実用的なアプリケーションで、強力なアドバンテージのためにうまく使われてきた。
しかし、ユーザの入力は、サービス中にモデルプロバイダにリークされる。
プライバシに対する人々の関心から、プライバシを保存したトランスフォーマー推論は、そのようなサービスの要求に応えている。
非線形関数のセキュアプロトコルは、プライバシー保護トランスフォーマー推論において重要であるが、あまり研究されていない。
したがって、非線形関数のための実用的なセキュアなプロトコルを設計することは、モデルの性能には重要であるが困難である。
本研究では,効率的なトランスフォーマー推論を実現するためのフレームワークであるemph{East}を提案する。
まず,新しい難解な多項式評価アルゴリズムを提案し,それをアクティベーション関数に適用する。これによりゲルのランタイムと通信を従来のアーツと比較して1.5$\times$ 2.5$\times$ 以上削減できる。
第二に、softmaxとレイヤ正規化のためのセキュアなプロトコルは、望ましい機能を忠実に維持するために慎重に設計されている。
第3に、全体的な効率を高めるために、いくつかの最適化が行われている。
BERT に \emph{East} を適用した結果,推測精度は微調整なしで平文推論と一致していることがわかった。
Ironと比較して、1.2$\times$ローランタイム内で、約1.8$\times$ロー通信を実現しています。
関連論文リスト
- SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for
Large Language Models [35.791279225769685]
本稿では,Transformerモデルに対する高速かつ正確なPPIを実現するために,SecFormerという高度な最適化フレームワークを導入する。
効率面では、SecFormerは、BERT$_textBASE$とBERT$_textLARGE$のPumaよりも3.56倍高速である。
論文 参考訳(メタデータ) (2024-01-01T15:40:35Z) - Secure Transformer Inference Protocol [15.610303095235372]
ChatGPTなどのTransformerベースのサービスでは、モデルパラメータとユーザデータのセキュリティが重要になる。
セキュアな双方向プロトコルの最近の進歩は、Transformerモデルを提供する際のセキュリティ上の懸念に対処している。
推測精度を損なうことなくセキュアなトランスフォーマー推論プロトコルSTIPを提案する。
論文 参考訳(メタデータ) (2023-11-14T14:37:23Z) - Exploring the Benefits of Differentially Private Pre-training and
Parameter-Efficient Fine-tuning for Table Transformers [56.00476706550681]
Table Transformer(TabTransformer)は最先端のニューラルネットワークモデルであり、差分プライバシ(DP)はデータのプライバシを確保する上で不可欠なコンポーネントである。
本稿では,これら2つの側面を組み合わせ,伝達学習のシナリオで組み合わせることのメリットについて考察する。
論文 参考訳(メタデータ) (2023-09-12T19:08:26Z) - UniPT: Universal Parallel Tuning for Transfer Learning with Efficient
Parameter and Memory [69.33445217944029]
PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。
最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。
メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
論文 参考訳(メタデータ) (2023-08-28T05:38:43Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳(メタデータ) (2022-11-30T05:31:45Z) - Efficient ML Models for Practical Secure Inference [9.536081713410812]
暗号化プリミティブは、モデルのプロバイダやモデルの重み付けにユーザの入力を明らかにすることなく、推論を可能にする。
セキュア推論はこの設定では原則として実現可能ですが、大規模に実践できるような既存のテクニックはありません。
安全な推論における主要なボトルネックは、ネットワークバックボーンの選択によって最適化できる大きな線形層であることを示す。
論文 参考訳(メタデータ) (2022-08-26T09:42:21Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z) - Efficient Sparse Secure Aggregation for Federated Learning [0.20052993723676896]
我々は,圧縮に基づくフェデレーション手法を付加的な秘密共有に適用し,効率的なセキュアなアグリゲーションプロトコルを実現する。
悪意のある敵に対するプライバシーの証明と、半正直な設定でその正しさを証明します。
セキュアアグリゲーションに関する従来の研究と比較すると、我々のプロトコルは通信コストが低く、同じ精度で適用可能なコストがかかる。
論文 参考訳(メタデータ) (2020-07-29T14:28:30Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。