論文の概要: ConfusionPrompt: Practical Private Inference for Online Large Language Models
- arxiv url: http://arxiv.org/abs/2401.00870v3
- Date: Mon, 28 Oct 2024 01:51:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:15:08.837847
- Title: ConfusionPrompt: Practical Private Inference for Online Large Language Models
- Title（参考訳）: ConfusionPrompt: オンライン大規模言語モデルのための実用的なプライベート推論
- Authors: Peihua Mai, Ran Yan, Rui Ye, Youjia Yang, Yinchuan Li, Yan Pang,
- Abstract要約: 大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーにインフォメーションプロンプトを送信する必要がある。
ConfusionPromptは,プロンプトをサブプロンプトに分解することでサーバを難読化するために設計された,新しいLLM推論フレームワークである。
プライバシ保護グループに必要なプロンプトを定式化するために,$(lambda, mu, rho)$-privacyモデルを開発した。
- 参考スコア（独自算出の注目度）: 11.26620418652188
- License:
- Abstract: State-of-the-art large language models (LLMs) are commonly deployed as online services, necessitating users to transmit informative prompts to cloud servers, thus engendering substantial privacy concerns. In response, we present ConfusionPrompt, a novel private LLM inference framework designed to obfuscate the server by: (i) decomposing the prompt into sub-prompts, and (ii) generating pseudo prompts along with the genuine sub-prompts as input to the online LLM. Eventually, the returned responses can be recomposed by the user to obtain the final whole response. Such designs endows our framework with advantages over previous protocols that (i) it can be seamlessly integrated with existing black-box LLMs, and (ii) it achieves significantly better privacy-utility trade-off than existing text perturbation-based methods. We develop a $(\lambda, \mu, \rho)$-privacy model to formulate the requirement for a privacy-preserving group of prompts, and provide a complexity analysis, affirming ConfusionPrompt's efficiency. Our empirical evaluation reveals that our method offers significantly higher utility compared to local inference methods using open-source models and perturbation-based techniques, while also requiring much less memory than open-source LLMs.
- Abstract（参考訳）: State-of-the-art large language model (LLM) は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに通知のプロンプトを送信する必要がある。
ConfusionPromptは,サーバを難読化するために設計された,新しいLLM推論フレームワークである。
(i)プロンプトをサブプロンプトに分解し、
二 オンライン LLM への入力として、真のサブプロンプトと共に疑似プロンプトを生成すること。
最終的には、返されたレスポンスをユーザが再コンパイルして、最後のレスポンス全体を取得することができる。
このような設計により、従来のプロトコルよりも有利なフレームワークが提供されます。
(i)既存のブラックボックスLCMとシームレスに統合でき、
(II)既存のテキスト摂動方式に比べて、プライバシーとユーティリティのトレードオフが著しく向上する。
プライバシ保護のためのプロンプトの要求を定式化するための$(\lambda, \mu, \rho)$-privacyモデルを開発し、コンフュージョンプロンプトの効率を肯定する複雑性解析を提供する。
実験により,提案手法は,オープンソースモデルや摂動に基づく手法を用いた局所的推論手法に比べて,はるかに高い有効性を提供するとともに,オープンソースLLMよりもはるかに少ないメモリを必要とすることがわかった。
関連論文リスト
- FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。
ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。
提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文 参考訳（メタデータ） (2024-11-01T19:19:23Z) - The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。
これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。
キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-30T06:55:00Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。
既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。
本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T14:28:56Z) - PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。
モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
論文 参考訳（メタデータ） (2024-06-18T03:27:09Z) - Personalized LLM Response Generation with Parameterized Memory Injection [19.417549781029233]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
パーソナライズされたLSM応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-04-04T16:20:34Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳（メタデータ） (2023-12-15T15:46:02Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳（メタデータ） (2023-11-27T02:01:10Z) - Language Models as Black-Box Optimizers for Vision-Language Models [62.80817942316398]
Webスケールデータセットで事前トレーニングされた視覚言語モデル(VLM)は、最小限のデータで微調整された場合、下流タスクに顕著な機能を示す。
我々は,自然言語のプロンプトを通じてVLMを最適化するためのブラックボックスアプローチを開発することを目指している。
論文 参考訳（メタデータ） (2023-09-12T04:03:41Z) - Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文 参考訳（メタデータ） (2023-09-06T14:54:11Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳（メタデータ） (2021-11-03T03:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。