論文の概要: LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers

• arxiv url: http://arxiv.org/abs/2305.18396v1
• Date: Sun, 28 May 2023 13:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 21:43:53.528930
• Title: LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
• Title（参考訳）: LLMは暗号化プロンプトを理解できる:プライバシーに配慮したフレンドリーなトランスフォーマーを目指して
• Authors: Xuanqi Liu and Zhuotao Liu
• Abstract要約: 本研究では,トランスアーキテクチャにおける計算量および通信量の多い演算子をプライバシ計算フレンドリな近似で置き換えることで,プライベートな推論コストを大幅に削減できることを示す。 我々のパイプラインは計算の5倍の高速化と通信オーバーヘッドの80%削減を実現し、ほぼ同じ精度を維持している。
• 参考スコア（独自算出の注目度）: 6.255763511216075
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Prior works have attempted to build private inference frameworks for transformer-based large language models (LLMs) in a server-client setting, where the server holds the model parameters and the client inputs the private data for inference. However, these frameworks impose significant overhead when the private inputs are forward propagated through the original LLMs. In this paper, we show that substituting the computation- and communication-heavy operators in the transformer architecture with privacy-computing friendly approximations can greatly reduce the private inference costs with minor impact on model performance. Compared to the state-of-the-art Iron (NeurIPS 2022), our privacy-computing friendly model inference pipeline achieves a $5\times$ acceleration in computation and an 80\% reduction in communication overhead, while retaining nearly identical accuracy.
• Abstract（参考訳）: 以前の作業では、サーバクライアント設定でトランスフォーマーベースの大規模言語モデル(llms)用のプライベート推論フレームワークを構築しようとしており、そこではサーバがモデルパラメータを保持し、クライアントが推論のためにプライベートデータを入力する。 しかし、これらのフレームワークは、プライベートインプットが元のllmを通じて前方に伝播するときに大きなオーバーヘッドを課す。 本稿では,プライバシ計算フレンドリー近似を用いたトランスフォーマアーキテクチャにおける計算・通信重演算子の置換により,モデル性能への影響を小さくして,プライベート推論コストを大幅に削減できることを示す。 最先端のiron(neurips 2022)と比較して、当社のプライバシコンピューティングフレンドリーなモデル推論パイプラインは、ほぼ同じ精度を維持しながら、計算速度が5\times$で、通信オーバーヘッドが80\%削減されます。

関連論文リスト

• FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
  大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。 我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
  論文  参考訳（メタデータ） (2024-10-18T20:33:12Z)
• Encryption-Friendly LLM Architecture [11.386436468650016]
  ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。 本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:48:35Z)
• Share Your Secrets for Privacy! Confidential Forecasting with Vertical Federated Learning [5.584904689846748]
  製造業における主な課題は、データプライバシと、小さくノイズの多いデータセットへの過度な適合である。 本稿では、以下の重要な特徴を示す新しいフレームワークである「VFLによる秘かに共有された時系列予測」を提案する。 以上の結果から,STVの予測精度は集中型手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T12:27:38Z)
• Comet: A Communication-efficient and Performant Approximation for Private Transformer Inference [16.328220661765744]
  推論性能を損なうことなく通信コストを削減するために,新しいプラグイン方式Cometを導入する。 私たちは、GLUEベンチマークデータセットでComet on BertとRoBERTaモデルを評価し、通信の少ない3.9$times$と3.5$times$ Speedupsを示しました。
  論文  参考訳（メタデータ） (2024-05-24T18:43:00Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• Split-and-Denoise: Protect large language model inference with local differential privacy [2.572566198588905]
  Split-N-Denoise (SnD) はプライベートな推論フレームワークであり、最小の計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する。 各種LLMアーキテクチャおよび下流タスク間のプライバシ・ユーティリティ・トレードオフを最適化する上で,SnDの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-13T14:17:33Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。