論文の概要: An Efficient Private GPT Never Autoregressively Decodes

• arxiv url: http://arxiv.org/abs/2505.15252v1
• Date: Wed, 21 May 2025 08:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.308167
• Title: An Efficient Private GPT Never Autoregressively Decodes
• Title（参考訳）: 自己回帰デコードしない効率的なプライベートGPT
• Authors: Zhengyi Li, Yue Guan, Kang Yang, Yu Feng, Ning Liu, Yu Yu, Jingwen Leng, Minyi Guo,
• Abstract要約: 生成事前学習型トランスフォーマー(GPT)は、クライアントとサーバの両方のプライバシー上の懸念を提起している。 本研究では,公開GPTモデルを用いた公開復号化とセキュアな検証手法を提案する。 実験では、3組のパブリック・プライベート・モデルの標準デコードと比較して2.1タイムのsim 6.0times$スピードアップが示されている。
• 参考スコア（独自算出の注目度）: 24.87628616730347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The wide deployment of the generative pre-trained transformer (GPT) has raised privacy concerns for both clients and servers. While cryptographic primitives can be employed for secure GPT inference to protect the privacy of both parties, they introduce considerable performance overhead.To accelerate secure inference, this study proposes a public decoding and secure verification approach that utilizes public GPT models, motivated by the observation that securely decoding one and multiple tokens takes a similar latency. The client uses the public model to generate a set of tokens, which are then securely verified by the private model for acceptance. The efficiency of our approach depends on the acceptance ratio of tokens proposed by the public model, which we improve from two aspects: (1) a private sampling protocol optimized for cryptographic primitives and (2) model alignment using knowledge distillation. Our approach improves the efficiency of secure decoding while maintaining the same level of privacy and generation quality as standard secure decoding. Experiments demonstrate a $2.1\times \sim 6.0\times$ speedup compared to standard decoding across three pairs of public-private models and different network conditions.
• Abstract（参考訳）: GPT(Generative Pre-trained Transformer)の広範な展開により、クライアントとサーバ双方のプライバシに関する懸念が高まっている。 暗号プリミティブは、双方のプライバシを保護するためにセキュアなGPT推論に使用できるが、高いパフォーマンスオーバーヘッドを伴い、セキュアな推論を促進するために、パブリックなGPTモデルを利用したパブリックな復号化とセキュアな検証手法を提案する。 クライアントは公開モデルを使用してトークンのセットを生成し、それをプライベートモデルによってセキュアに検証して受け入れる。 提案手法の効率性は,(1)暗号プリミティブに最適化されたプライベートサンプリングプロトコルと(2)知識蒸留を用いたモデルアライメントの2つの側面から改善した,公開モデルによるトークンの受け入れ率に依存する。 提案手法は,プライバシと生成品質を標準のセキュアデコーディングと同等に保ちながら,セキュアデコーディングの効率を向上する。 実験では、2.1\times \sim 6.0\times$ speedupを3組のパブリックプライベートモデルと異なるネットワーク条件の標準デコードと比較した。

関連論文リスト

• PersGuard: Preventing Malicious Personalization via Backdoor Attacks on Pre-trained Text-to-Image Diffusion Models [51.458089902581456]
  特定の画像の悪質なパーソナライズを防ぐ新しいバックドアベースのアプローチであるPersGuardを紹介する。 我々の手法は既存の技術よりも優れており、プライバシーと著作権保護に対するより堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-02-22T09:47:55Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• An Efficient and Multi-private Key Secure Aggregation for Federated Learning [41.29971745967693]
  フェデレート学習のための効率的かつ多目的な鍵セキュアアグリゲーション手法を提案する。 具体的には、変種ElGamal暗号を巧みに修正し、同型加算演算を実現する。 高次元深層モデルパラメータに対しては,多次元データを1次元に圧縮する超増進シーケンスを導入する。
  論文  参考訳（メタデータ） (2023-06-15T09:05:36Z)
• A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
  推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。 EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。 我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
  論文  参考訳（メタデータ） (2023-04-17T00:38:01Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• PRECAD: Privacy-Preserving and Robust Federated Learning via Crypto-Aided Differential Privacy [14.678119872268198]
  フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保持し、モデル更新のみを交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。 既存のFLプロトコルの設計は、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱であることが示されている。 我々はPreCADと呼ばれるフレームワークを開発し、同時に差分プライバシー(DP)を実現し、暗号の助けを借りてモデル中毒攻撃に対する堅牢性を高める。
  論文  参考訳（メタデータ） (2021-10-22T04:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。