論文の概要: THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption
- arxiv url: http://arxiv.org/abs/2206.00216v2
- Date: Thu, 2 Jun 2022 01:06:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 12:11:04.572475
- Title: THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption
- Title(参考訳): the-x:準同型暗号を用いたプライバシー保存トランスフォーマー推論
- Authors: Tianyu Chen, Hangbo Bao, Shaohan Huang, Li Dong, Binxing Jiao, Daxin
Jiang, Haoyi Zhou, Jianxin Li, Furu Wei
- Abstract要約: トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
- 参考スコア(独自算出の注目度): 112.02441503951297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As more and more pre-trained language models adopt on-cloud deployment, the
privacy issues grow quickly, mainly for the exposure of plain-text user data
(e.g., search history, medical record, bank account). Privacy-preserving
inference of transformer models is on the demand of cloud service users. To
protect privacy, it is an attractive choice to compute only with ciphertext in
homomorphic encryption (HE). However, enabling pre-trained models inference on
ciphertext data is difficult due to the complex computations in transformer
blocks, which are not supported by current HE tools yet. In this work, we
introduce $\textit{THE-X}$, an approximation approach for transformers, which
enables privacy-preserving inference of pre-trained models developed by popular
frameworks. $\textit{THE-X}$ proposes a workflow to deal with complex
computation in transformer networks, including all the non-polynomial functions
like GELU, softmax, and LayerNorm. Experiments reveal our proposed
$\textit{THE-X}$ can enable transformer inference on encrypted data for
different downstream tasks, all with negligible performance drop but enjoying
the theory-guaranteed privacy-preserving advantage.
- Abstract(参考訳): 事前訓練された言語モデルがクラウド上に展開されるにつれて、プライバシの問題は急速に増加し、主に平文ユーザーデータ(検索履歴、医療記録、銀行口座など)が露出する。
トランスフォーマーモデルのプライバシ保存推論は,クラウドサービスユーザの要求に応えている。
プライバシーを保護するために、暗号文のみを同型暗号(HE)で計算することは魅力的な選択である。
しかし,現在のHEツールではまだサポートされていないトランスフォーマーブロックの複雑な計算のために,暗号データ上で事前学習したモデル推論を有効にすることは困難である。
本稿では,トランスフォーマーの近似手法である$\textit{the-x}$を導入し,一般的なフレームワークで開発された事前学習モデルのプライバシ保存推論を可能にする。
$\textit{THE-X}$は、GELU、Softmax、LayerNormといった非多項式関数を含むトランスフォーマーネットワークの複雑な計算を扱うワークフローを提案する。
提案した$\textit{THE-X}$は、異なるダウンストリームタスクに対して暗号化されたデータのトランスフォーマー推論を可能にする。
関連論文リスト
- Encryption-Friendly LLM Architecture [11.386436468650016]
ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。
本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-10-03T13:48:35Z) - CipherFormer: Efficient Transformer Private Inference with Low Round Complexity [0.0]
本稿では,同相暗号とガーブロード回路を用いた変圧器プライベート推論方式であるCipherFormerを提案する。
テキスト分類タスクにおける高度な同型暗号方式と比較して、我々のモデルは7.7x-11.9倍の高速化でプライベート推論を行い、精度を3%から11%向上させる。
論文 参考訳(メタデータ) (2024-03-25T15:24:57Z) - I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of
Transformers using Fully Homomorphic Encryption [5.12893315783096]
BlindTunerは、画像分類のための同型暗号化データのみを対象としたトランスフォーマートレーニングを可能にする、プライバシー保護のための微調整システムである。
以上の結果から,従来よりも1.5倍から600倍の速度向上が見られた。
論文 参考訳(メタデータ) (2024-02-14T10:15:43Z) - InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
論文 参考訳(メタデータ) (2023-10-18T18:00:11Z) - Learning in the Dark: Privacy-Preserving Machine Learning using Function Approximation [1.8907108368038215]
Learning in the Darkは、暗号化された画像を高精度に分類できる、プライバシ保護機械学習モデルである。
暗号化データ上で直接計算を行うことで、高精度な予測を行うことができる。
論文 参考訳(メタデータ) (2023-09-15T06:45:58Z) - When approximate design for fast homomorphic computation provides
differential privacy guarantees [0.08399688944263842]
差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。
本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。
たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
論文 参考訳(メタデータ) (2023-04-06T09:38:01Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳(メタデータ) (2023-02-23T18:04:07Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。