論文の概要: LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly
Transformers
- arxiv url: http://arxiv.org/abs/2305.18396v1
- Date: Sun, 28 May 2023 13:08:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 21:43:53.528930
- Title: LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly
Transformers
- Title(参考訳): LLMは暗号化プロンプトを理解できる:プライバシーに配慮したフレンドリーなトランスフォーマーを目指して
- Authors: Xuanqi Liu and Zhuotao Liu
- Abstract要約: 本研究では,トランスアーキテクチャにおける計算量および通信量の多い演算子をプライバシ計算フレンドリな近似で置き換えることで,プライベートな推論コストを大幅に削減できることを示す。
我々のパイプラインは計算の5倍の高速化と通信オーバーヘッドの80%削減を実現し、ほぼ同じ精度を維持している。
- 参考スコア(独自算出の注目度): 6.255763511216075
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Prior works have attempted to build private inference frameworks for
transformer-based large language models (LLMs) in a server-client setting,
where the server holds the model parameters and the client inputs the private
data for inference. However, these frameworks impose significant overhead when
the private inputs are forward propagated through the original LLMs. In this
paper, we show that substituting the computation- and communication-heavy
operators in the transformer architecture with privacy-computing friendly
approximations can greatly reduce the private inference costs with minor impact
on model performance. Compared to the state-of-the-art Iron (NeurIPS 2022), our
privacy-computing friendly model inference pipeline achieves a $5\times$
acceleration in computation and an 80\% reduction in communication overhead,
while retaining nearly identical accuracy.
- Abstract(参考訳): 以前の作業では、サーバクライアント設定でトランスフォーマーベースの大規模言語モデル(llms)用のプライベート推論フレームワークを構築しようとしており、そこではサーバがモデルパラメータを保持し、クライアントが推論のためにプライベートデータを入力する。
しかし、これらのフレームワークは、プライベートインプットが元のllmを通じて前方に伝播するときに大きなオーバーヘッドを課す。
本稿では,プライバシ計算フレンドリー近似を用いたトランスフォーマアーキテクチャにおける計算・通信重演算子の置換により,モデル性能への影響を小さくして,プライベート推論コストを大幅に削減できることを示す。
最先端のiron(neurips 2022)と比較して、当社のプライバシコンピューティングフレンドリーなモデル推論パイプラインは、ほぼ同じ精度を維持しながら、計算速度が5\times$で、通信オーバーヘッドが80\%削減されます。
関連論文リスト
- Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with
Communication Cost under 18 Kilobytes [56.67419203687434]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳(メタデータ) (2023-12-11T13:03:21Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳(メタデータ) (2023-11-27T02:01:10Z) - Split-and-Denoise: Protect large language model inference with local
differential privacy [2.759967237845292]
大規模言語モデル(LLM)は、ベクトル空間に隠されたセマンティクスをキャプチャすることで、自然言語理解において強力な能力を示す。
サーバーへのテキストの直接送信は、プライバシー漏洩の危険性がほとんどない。
SnD(Split-N-Denoise)は、最小の計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する革新的なフレームワークである。
論文 参考訳(メタデータ) (2023-10-13T14:17:33Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳(メタデータ) (2023-02-23T18:04:07Z) - Privacy-Aware Compression for Federated Learning Through Numerical
Mechanism Design [32.45650219508591]
本稿では,より効率的なプライバシ解析を可能にする数値設計法を提案する。
Interpolated MVUメカニズムはよりスケーラブルで、より優れたプライバシユーティリティトレードオフを持ち、さまざまなデータセット上で通信効率のよいプライベートFLに対してSOTA結果を提供する。
論文 参考訳(メタデータ) (2022-11-08T01:36:15Z) - FLVoogd: Robust And Privacy Preserving Federated Learning [12.568409209047505]
プライバシを保護しながら,サーバとクライアントが共同でビザンチン攻撃を除去する,新たなフェデレート学習手法であるoogdを提案する。
サーバは、S2PCと組み合わされたDBSCAN(Spatial Clustering of Applications)の自動密度ベースの空間クラスタリングを使用して、機密性の高い個人情報を取得せずに、良質な多数派をクラスタリングする。
私たちのフレームワークは自動で適応的なので、サーバ/クライアントはトレーニング中にパラメータをチューニングする必要がありません。
論文 参考訳(メタデータ) (2022-06-24T08:48:15Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。