論文の概要: THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption
- arxiv url: http://arxiv.org/abs/2206.00216v1
- Date: Wed, 1 Jun 2022 03:49:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 05:06:57.390885
- Title: THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption
- Title(参考訳): the-x:準同型暗号を用いたプライバシー保存トランスフォーマー推論
- Authors: Tianyu Chen, Hangbo Bao, Shaohan Huang, Li Dong, Binxing Jiao, Daxin
Jiang, Haoyi Zhou, Jianxin Li
- Abstract要約: トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
- 参考スコア(独自算出の注目度): 64.07908619349269
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As more and more pre-trained language models adopt on-cloud deployment, the
privacy issues grow quickly, mainly for the exposure of plain-text user data
(e.g., search history, medical record, bank account). Privacy-preserving
inference of transformer models is on the demand of cloud service users. To
protect privacy, it is an attractive choice to compute only with ciphertext in
homomorphic encryption (HE). However, enabling pre-trained models inference on
ciphertext data is difficult due to the complex computations in transformer
blocks, which are not supported by current HE tools yet. In this work, we
introduce $\textit{THE-X}$, an approximation approach for transformers, which
enables privacy-preserving inference of pre-trained models developed by popular
frameworks. $\textit{THE-X}$ proposes a workflow to deal with complex
computation in transformer networks, including all the non-polynomial functions
like GELU, softmax, and LayerNorm. Experiments reveal our proposed
$\textit{THE-X}$ can enable transformer inference on encrypted data for
different downstream tasks, all with negligible performance drop but enjoying
the theory-guaranteed privacy-preserving advantage.
- Abstract(参考訳): 事前訓練された言語モデルがクラウド上に展開されるにつれて、プライバシの問題は急速に増加し、主に平文ユーザーデータ(検索履歴、医療記録、銀行口座など)が露出する。
トランスフォーマーモデルのプライバシ保存推論は,クラウドサービスユーザの要求に応えている。
プライバシーを保護するために、暗号文のみを同型暗号(HE)で計算することは魅力的な選択である。
しかし,現在のHEツールではまだサポートされていないトランスフォーマーブロックの複雑な計算のために,暗号データ上で事前学習したモデル推論を有効にすることは困難である。
本稿では,トランスフォーマーの近似手法である$\textit{the-x}$を導入し,一般的なフレームワークで開発された事前学習モデルのプライバシ保存推論を可能にする。
$\textit{THE-X}$は、GELU、Softmax、LayerNormといった非多項式関数を含むトランスフォーマーネットワークの複雑な計算を扱うワークフローを提案する。
提案した$\textit{THE-X}$は、異なるダウンストリームタスクに対して暗号化されたデータのトランスフォーマー推論を可能にする。
関連論文リスト
- I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of
Transformers using Fully Homomorphic Encryption [5.12893315783096]
BlindTunerは、画像分類のための同型暗号化データのみを対象としたトランスフォーマートレーニングを可能にする、プライバシー保護のための微調整システムである。
以上の結果から,従来よりも1.5倍から600倍の速度向上が見られた。
論文 参考訳(メタデータ) (2024-02-14T10:15:43Z) - SentinelLMs: Encrypted Input Adaptation and Fine-tuning of Language
Models for Private and Secure Inference [6.0189674528771]
本稿では、ディープラーニングモデルに関連するプライバシとセキュリティの問題に対処する。
ディープニューラルネットワークモデルは、現代のAIベースの様々なアプリケーションにおいて重要なコンポーネントとして機能する。
パスキー暗号化されたユーザ固有テキストに対して,トランスフォーマーに基づく言語モデルを適応し,微調整する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-12-28T19:55:11Z) - Federated Learning is Better with Non-Homomorphic Encryption [1.4110007887109783]
Federated Learning(FL)は、生データを収集することなく、分散AIモデルのトレーニングを促進するパラダイムを提供する。
一般的な手法の1つは、ホモモルフィック暗号化(HE)を用いることである。
本稿では,置換型圧縮機と古典暗号を相乗化する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-04T17:37:41Z) - PriViT: Vision Transformers for Fast Private Inference [55.36478271911595]
Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションのための最先端のディープモデルのバックボーンとして登場した。
ViTは、多くの非ポリノミカル操作のため、セキュアなマルチパーティプロトコルを使用したプライベート推論には適していない。
予測精度を維持しつつ,ViTの非線形性を選択的に"テイラー化"するアルゴリズムであるPriViTを提案する。
論文 参考訳(メタデータ) (2023-10-06T21:45:05Z) - When approximate design for fast homomorphic computation provides
differential privacy guarantees [0.08399688944263842]
差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。
本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。
たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
論文 参考訳(メタデータ) (2023-04-06T09:38:01Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳(メタデータ) (2023-02-23T18:04:07Z) - EViT: Privacy-Preserving Image Retrieval via Encrypted Vision
Transformer in Cloud Computing [9.41257807502252]
本稿では,暗号化ビジョン変換器(EViT)という新しいパラダイムを提案する。
EViTは、画像のプライバシーを効果的に保護しつつ、大きなマージンによる検索精度において、現在のスキームよりも優れた暗号化と検索性能を実現する。
論文 参考訳(メタデータ) (2022-08-31T07:07:21Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。