論文の概要: East: Efficient and Accurate Secure Transformer Framework for Inference
- arxiv url: http://arxiv.org/abs/2308.09923v1
- Date: Sat, 19 Aug 2023 06:26:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 18:57:46.843330
- Title: East: Efficient and Accurate Secure Transformer Framework for Inference
- Title（参考訳）: east: 推論のための効率的で正確なセキュアトランスフォーマーフレームワーク
- Authors: Yuanchao Ding, Hua Guo, Yewei Guan, Weixin Liu, Jiarong Huo, Zhenyu
Guan, Xiyong Zhang
- Abstract要約: 本稿では,効率的なセキュアトランスフォーマー推論を実現するためのフレームワークemphEastを提案する。
Ironと比較して、1.2$times$ローランタイム内で、約1.8$times$ロー通信を実現しています。
- 参考スコア（独自算出の注目度）: 7.887332345182056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer has been successfully used in practical applications, such as
ChatGPT, due to its powerful advantages. However, users' input is leaked to the
model provider during the service. With people's attention to privacy,
privacy-preserving Transformer inference is on the demand of such services.
Secure protocols for non-linear functions are crucial in privacy-preserving
Transformer inference, which are not well studied. Thus, designing practical
secure protocols for non-linear functions is hard but significant to model
performance. In this work, we propose a framework \emph{East} to enable
efficient and accurate secure Transformer inference. Firstly, we propose a new
oblivious piecewise polynomial evaluation algorithm and apply it to the
activation functions, which reduces the runtime and communication of GELU by
over 1.5$\times$ and 2.5$\times$, compared to prior arts. Secondly, the secure
protocols for softmax and layer normalization are carefully designed to
faithfully maintain the desired functionality. Thirdly, several optimizations
are conducted in detail to enhance the overall efficiency. We applied
\emph{East} to BERT and the results show that the inference accuracy remains
consistent with the plaintext inference without fine-tuning. Compared to Iron,
we achieve about 1.8$\times$ lower communication within 1.2$\times$ lower
runtime.
- Abstract（参考訳）: Transformerは、ChatGPTのような実用的なアプリケーションで、強力なアドバンテージのためにうまく使われてきた。
しかし、ユーザの入力は、サービス中にモデルプロバイダにリークされる。
プライバシに対する人々の関心から、プライバシを保存したトランスフォーマー推論は、そのようなサービスの要求に応えている。
非線形関数のセキュアプロトコルは、プライバシー保護トランスフォーマー推論において重要であるが、あまり研究されていない。
したがって、非線形関数のための実用的なセキュアなプロトコルを設計することは、モデルの性能には重要であるが困難である。
本研究では,効率的なトランスフォーマー推論を実現するためのフレームワークであるemph{East}を提案する。
まず,新しい難解な多項式評価アルゴリズムを提案し,それをアクティベーション関数に適用する。これによりゲルのランタイムと通信を従来のアーツと比較して1.5$\times$ 2.5$\times$ 以上削減できる。
第二に、softmaxとレイヤ正規化のためのセキュアなプロトコルは、望ましい機能を忠実に維持するために慎重に設計されている。
第3に、全体的な効率を高めるために、いくつかの最適化が行われている。
BERT に \emph{East} を適用した結果,推測精度は微調整なしで平文推論と一致していることがわかった。
Ironと比較して、1.2$\times$ローランタイム内で、約1.8$\times$ロー通信を実現しています。
関連論文リスト
- CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。
まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。
分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
論文 参考訳（メタデータ） (2024-11-25T07:56:13Z) - Towards Infinite-Long Prefix in Transformer [18.24137806007111]
本研究では,全パラメータの微調整性能に適合するプロンプト法と文脈に基づく微調整法について検討する。
無限長のプレフィックスではなく、トレーニング可能なパラメータをいくつか導入し、微調整するだけでよいアルゴリズムを実装している。
提案手法は, フルパラメータ細調整, P-Tuning V2, LoRA などの既存手法と比較して, 優れた性能, 競争性を実現している。
論文 参考訳（メタデータ） (2024-06-20T06:56:35Z) - Comet: A Communication-efficient and Performant Approximation for Private Transformer Inference [16.328220661765744]
推論性能を損なうことなく通信コストを削減するために,新しいプラグイン方式Cometを導入する。
私たちは、GLUEベンチマークデータセットでComet on BertとRoBERTaモデルを評価し、通信の少ない3.9$times$と3.5$times$ Speedupsを示しました。
論文 参考訳（メタデータ） (2024-05-24T18:43:00Z) - From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。
提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
論文 参考訳（メタデータ） (2024-02-02T21:25:46Z) - SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models [34.63351580241698]
本稿では,Transformerモデルに対する高速かつ正確なPPIを実現するために,SecFormerという高度な最適化フレームワークを導入する。
効率面では、SecFormerは、BERT$_textBASE$とBERT$_textLARGE$のPumaよりも3.56倍高速である。
論文 参考訳（メタデータ） (2024-01-01T15:40:35Z) - Secure Transformer Inference Protocol [15.610303095235372]
ChatGPTなどのTransformerベースのサービスでは、モデルパラメータとユーザデータのセキュリティが重要になる。
セキュアな双方向プロトコルの最近の進歩は、Transformerモデルを提供する際のセキュリティ上の懸念に対処している。
推測精度を損なうことなくセキュアなトランスフォーマー推論プロトコルSTIPを提案する。
論文 参考訳（メタデータ） (2023-11-14T14:37:23Z) - Exploring the Benefits of Differentially Private Pre-training and
Parameter-Efficient Fine-tuning for Table Transformers [56.00476706550681]
Table Transformer(TabTransformer)は最先端のニューラルネットワークモデルであり、差分プライバシ(DP)はデータのプライバシを確保する上で不可欠なコンポーネントである。
本稿では,これら2つの側面を組み合わせ,伝達学習のシナリオで組み合わせることのメリットについて考察する。
論文 参考訳（メタデータ） (2023-09-12T19:08:26Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳（メタデータ） (2022-11-30T05:31:45Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳（メタデータ） (2022-06-01T03:49:18Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。