論文の概要: Centaur: Bridging the Impossible Trinity of Privacy, Efficiency, and Performance in Privacy-Preserving Transformer Inference

• arxiv url: http://arxiv.org/abs/2412.10652v1
• Date: Sat, 14 Dec 2024 02:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:13.196284
• Title: Centaur: Bridging the Impossible Trinity of Privacy, Efficiency, and Performance in Privacy-Preserving Transformer Inference
• Title（参考訳）: Centaur: プライバシを保存するトランスフォーマー推論における、プライバシ、効率、パフォーマンスの不可能なトリニティを橋渡しする
• Authors: Jinglong Luo, Guanzhong Chen, Yehong Zhang, Shiyu Liu, Hui Wang, Yue Yu, Xun Zhou, Yuan Qi, Zenglin Xu,
• Abstract要約: 現在のプライバシー保護トランスフォーマー推論(PPTI)フレームワークは、プライバシ、効率、パフォーマンスの「不可能なトリニティ」に苦慮している。 モデルパラメータをランダムな置換とSMPCによる推論データで保護する新しいハイブリッドPPTIフレームワークであるCentaurを提案する。 性能と効率の面では、Centaurは平文推論と同じ性能を維持しているだけでなく、推論速度を5.0-30.4$倍改善している。
• 参考スコア（独自算出の注目度）: 36.22164026463692
• License:
• Abstract: As pre-trained models, like Transformers, are increasingly deployed on cloud platforms for inference services, the privacy concerns surrounding model parameters and inference data are becoming more acute. Current Privacy-Preserving Transformer Inference (PPTI) frameworks struggle with the "impossible trinity" of privacy, efficiency, and performance. For instance, Secure Multi-Party Computation (SMPC)-based solutions offer strong privacy guarantees but come with significant inference overhead and performance trade-offs. On the other hand, PPTI frameworks that use random permutations achieve inference efficiency close to that of plaintext and maintain accurate results but require exposing some model parameters and intermediate results, thereby risking substantial privacy breaches. Addressing this "impossible trinity" with a single technique proves challenging. To overcome this challenge, we propose Centaur, a novel hybrid PPTI framework. Unlike existing methods, Centaur protects model parameters with random permutations and inference data with SMPC, leveraging the structure of Transformer models. By designing a series of efficient privacy-preserving algorithms, Centaur leverages the strengths of both techniques to achieve a better balance between privacy, efficiency, and performance in PPTI. We comprehensively evaluate the effectiveness of Centaur on various types of Transformer models and datasets. Experimental results demonstrate that the privacy protection capabilities offered by Centaur can withstand various existing model inversion attack methods. In terms of performance and efficiency, Centaur not only maintains the same performance as plaintext inference but also improves inference speed by $5.0-30.4$ times.
• Abstract（参考訳）: Transformersのような事前トレーニングされたモデルが、推論サービスのためにクラウドプラットフォームにデプロイされる傾向にあるため、モデルパラメータや推論データを取り巻くプライバシに関する懸念が高まっている。 現在のプライバシー保護トランスフォーマー推論(PPTI)フレームワークは、プライバシ、効率、パフォーマンスの「不可能なトリニティ」に苦慮している。 例えば、SMPC(Secure Multi-Party Computation)ベースのソリューションは、強力なプライバシ保証を提供するが、大きな推論オーバーヘッドとパフォーマンストレードオフをもたらす。 一方、ランダムな置換を利用するPPTIフレームワークは、平文に近い推論効率を実現し、正確な結果を維持するが、いくつかのモデルパラメータと中間結果を公開する必要があるため、重大なプライバシー侵害のリスクがある。 この“不可能な三位一体(impossible trinity)”に1つのテクニックで対処することは難しい。 この課題を克服するために、我々は新しいハイブリッドPPTIフレームワークであるCentaurを提案する。 既存の方法とは異なり、Centaurはランダムな置換とSMPCによる推論データでモデルパラメータを保護し、Transformerモデルの構造を利用する。 一連の効率的なプライバシ保存アルゴリズムを設計することにより、Centaurは両方のテクニックの長所を活用して、PPTIのプライバシ、効率、パフォーマンスのバランスを改善する。 各種トランスフォーマーモデルとデータセットに対するCentaurの有効性を総合的に評価した。 実験の結果,Centaurが提供するプライバシ保護機能は,既存のモデル反転攻撃手法に耐性があることが示されている。 性能と効率の面では、Centaurは平文推論と同じ性能を維持しているだけでなく、推論速度を5.0-30.4$倍改善している。

関連論文リスト

• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Secure Transformer Inference Protocol [15.610303095235372]
  ChatGPTなどのTransformerベースのサービスでは、モデルパラメータとユーザデータのセキュリティが重要になる。 セキュアな双方向プロトコルの最近の進歩は、Transformerモデルを提供する際のセキュリティ上の懸念に対処している。 推測精度を損なうことなくセキュアなトランスフォーマー推論プロトコルSTIPを提案する。
  論文  参考訳（メタデータ） (2023-11-14T14:37:23Z)
• Libertas: Privacy-Preserving Computation for Decentralised Personal Data Stores [19.54818218429241]
  セキュアなマルチパーティ計算をSolidと統合するためのモジュール設計を提案する。 私たちのアーキテクチャであるLibertasでは、基盤となるSolidの設計にプロトコルレベルの変更は必要ありません。 既存の差分プライバシー技術と組み合わせて、出力プライバシーを確保する方法を示す。
  論文  参考訳（メタデータ） (2023-09-28T12:07:40Z)
• East: Efficient and Accurate Secure Transformer Framework for Inference [7.887332345182056]
  本稿では,効率的なセキュアトランスフォーマー推論を実現するためのフレームワークemphEastを提案する。 Ironと比較して、1.2$times$ローランタイム内で、約1.8$times$ロー通信を実現しています。
  論文  参考訳（メタデータ） (2023-08-19T06:26:14Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。