論文の概要: PermLLM: Private Inference of Large Language Models within 3 Seconds under WAN

• arxiv url: http://arxiv.org/abs/2405.18744v1
• Date: Wed, 29 May 2024 04:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:58:09.516860
• Title: PermLLM: Private Inference of Large Language Models within 3 Seconds under WAN
• Title（参考訳）: PermLLM: WAN下での3秒以内の大規模言語モデルのプライベート推論
• Authors: Fei Zheng, Chaochao Chen, Zhongxuan Han, Xiaolin Zheng,
• Abstract要約: ChatGPTは、大きな言語モデル(LLM)時代の到来を示す。 PermLLM は ChatGLM-6B モデルを約3s/token の速度で2パーティのプライベート推論を行う。
• 参考スコア（独自算出の注目度）: 19.014325509263536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of ChatGPT marks the arrival of the large language model (LLM) era. While LLMs demonstrate their power in a variety of fields, they also raise serious privacy concerns as the users' queries are sent to the model provider. On the other side, deploying the LLM on the user's device will also leak all the model data. Existing methods based on secure multiparty computation (MPC) managed to protect both the privacy of the model parameters and user queries. However, they require gigabytes of data transfer and several minutes to generate just one token, making them impractical for most real-world applications. To improve the efficiency of private LLM inference, we propose PermLLM, which accelerates the evaluation of non-linear functions using secure random permutation. Along with the optimized secret sharing protocols and homomorphic encryption, PermLLM achieves two-party private inference of the ChatGLM-6B model at the speed of around 3s/token, under a realistic network setting (10ms RTT and 1Gbps bandwidth), which is magnitudes faster than existing MPC solutions.
• Abstract（参考訳）: ChatGPTの出現は、大きな言語モデル(LLM)時代の到来を表している。 LLMは様々な分野でそのパワーを実証するが、ユーザーのクエリがモデルプロバイダに送られると、深刻なプライバシー上の懸念が生じる。 一方、ユーザーのデバイスにLSMをデプロイすると、すべてのモデルデータがリークされる。 セキュアなマルチパーティ計算(MPC)に基づく既存の手法は、モデルのパラメータとユーザクエリの両方のプライバシを保護することができた。 しかし、1つのトークンだけを生成するには、ギガバイトのデータ転送と数分を要するため、ほとんどの現実世界アプリケーションでは実用的ではない。 セキュアなランダムな置換を用いた非線形関数の評価を高速化するPermLLMを提案する。 PermLLMは、最適化された秘密共有プロトコルと同型暗号化とともに、既存のMPCソリューションよりも大幅に高速な10ms RTTと1Gbpsのネットワーク設定の下で、約3s/tokenの速度でChatGLM-6Bモデルの双方向のプライベート推論を実現する。

関連論文リスト

• Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
  従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。 これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。 クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
  論文  参考訳（メタデータ） (2024-06-22T03:20:10Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [11.26620418652188]
  大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーにインフォメーションプロンプトを送信する必要がある。 ConfusionPromptは,プロンプトをサブプロンプトに分解することでサーバを難読化するために設計された,新しいLLM推論フレームワークである。 プライバシ保護グループに必要なプロンプトを定式化するために,$(lambda, mu, rho)$-privacyモデルを開発した。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• FwdLLM: Efficient FedLLM using Forward Gradient [8.520892692833293]
  FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
  論文  参考訳（メタデータ） (2023-08-26T14:36:30Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Private, Efficient, and Accurate: Protecting Models Trained by Multi-party Learning with Differential Privacy [8.8480262507008]
  セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。 TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。 PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
  論文  参考訳（メタデータ） (2022-08-18T06:48:25Z)
• Towards Differentially Private Text Representations [52.64048365919954]
  信頼できないサーバ環境下で新しいディープラーニングフレームワークを開発する。 乱数化モジュールに対して、プライバシーパラメータ$epsilon$の精度への影響を低減するために、新しいローカル微分プライベート(LDP)プロトコルを提案する。 分析と実験により、我々のフレームワークは、非プライベートなフレームワークや既存のLDPプロトコルと同等またはそれ以上のパフォーマンスを提供することが示された。
  論文  参考訳（メタデータ） (2020-06-25T04:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。