論文の概要: Accelerating Private Large Transformers Inference through Fine-grained Collaborative Computation

• arxiv url: http://arxiv.org/abs/2412.16537v1
• Date: Sat, 21 Dec 2024 08:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:55:20.890660
• Title: Accelerating Private Large Transformers Inference through Fine-grained Collaborative Computation
• Title（参考訳）: 微粒な協調計算による大規模変圧器の高速化
• Authors: Yuntian Chen, Zhanyong Tang, Tianpei Lu, Bingsheng Zhang, Zhiying Shi, Zheng Wang,
• Abstract要約: ホモモルフィック暗号化(HE)とシークレット共有(SS)は、暗号化されたデータの計算を可能にし、医療や金融といった機密分野における大きなトランスフォーマーベースモデル(TBM)のプライバシー上の大きな利点を提供する。 FASTLMPIは、微粒な最適化により、プライベートなTBM推論を高速化する新しい手法である。
• 参考スコア（独自算出の注目度）: 8.859237832459876
• License:
• Abstract: Homomorphic encryption (HE) and secret sharing (SS) enable computations on encrypted data, providing significant privacy benefits for large transformer-based models (TBM) in sensitive sectors like medicine and finance. However, private TBM inference incurs significant costs due to the coarse-grained application of HE and SS. We present FASTLMPI, a new approach to accelerate private TBM inference through fine-grained computation optimization. Specifically, through the fine-grained co-design of homomorphic encryption and secret sharing, FASTLMPI achieves efficient protocols for matrix multiplication, SoftMax, LayerNorm, and GeLU. In addition, FASTLMPI introduces a precise segmented approximation technique for differentiable non-linear, improving its fitting accuracy while maintaining a low polynomial degree. Compared to solution BOLT (S\&P'24), \SystemName shows a remarkable 54\% to 64\% decrease in runtime and an impressive 72.2\% reduction in communication costs.
• Abstract（参考訳）: ホモモルフィック暗号化(HE)とシークレット共有(SS)は、暗号化されたデータの計算を可能にし、医療や金融といった機密分野における大きなトランスフォーマーベースモデル(TBM)のプライバシー上の大きな利点を提供する。 しかし、プライベートなTBM推論はHEとSSの粗粒化が原因でかなりのコストがかかる。 計算の微粒化によるプライベートTBM推論を高速化する新しい手法であるFASTLMPIを提案する。 具体的には、ホモモルフィック暗号化と秘密共有の詳細な共設計により、FASTLMPIは行列乗算、SoftMax、LayerNorm、GeLUの効率的なプロトコルを実現する。 さらに、FASTLMPIは、微分可能な非線形に対して正確なセグメント化近似手法を導入し、低多項式度を維持しながら、その適合性を向上させる。 ソリューションBOLT (S\&P'24) と比較して、 \SystemName は実行時の 54 % から 64 % の大幅な減少と通信コストの 72.2 % の大幅な削減を示している。

関連論文リスト

• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• Encryption-Friendly LLM Architecture [11.386436468650016]
  ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。 本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:48:35Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• SecFormer: Fast and Accurate Privacy-Preserving Inference for Transformer Models via SMPC [34.63351580241698]
  本稿では,Transformer モデルに対する高速かつ正確な PPI を実現するための SecFormer という包括的 PPI フレームワークを提案する。 効率面では、SecFormerはBERT$_textBASE$とBERT$_textLARGE$のPUMAよりも3.57倍速い。
  論文  参考訳（メタデータ） (2024-01-01T15:40:35Z)
• Practical Privacy-Preserving Gaussian Process Regression via Secret Sharing [23.80837224347696]
  本稿では秘密共有(SS)に基づくプライバシー保護型GPR手法を提案する。 コンフュージョン補正(confusion-correction)というアイデアを通じて,新たなSSベースの指数演算を導出し,Cholesky分解に基づくSSベースの行列逆変換アルゴリズムを構築する。 実験結果から,データプライバシ保護の前提として,提案手法が妥当な精度と効率を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-26T08:17:51Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge Caching [91.50631418179331]
  MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。 分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T02:48:27Z)
• Local Differential Privacy for Bayesian Optimization [12.05395706770007]
  局所微分プライバシー(LDP)を保証した非パラメトリックガウス過程におけるブラックボックス最適化について検討する。 具体的には、各ユーザの報酬は、プライバシーを保護するためにさらに悪化し、学習者は、後悔を最小限に抑えるために、破損した報酬にのみアクセスすることができる。 GP-UCBフレームワークとLaplace DP機構に基づく3つのほぼ最適なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-13T21:50:09Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。