論文の概要: ConfusionPrompt: Practical Private Inference for Online Large Language Models

• arxiv url: http://arxiv.org/abs/2401.00870v4
• Date: Wed, 06 Nov 2024 02:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:21:02.359332
• Title: ConfusionPrompt: Practical Private Inference for Online Large Language Models
• Title（参考訳）: ConfusionPrompt: オンライン大規模言語モデルのための実用的なプライベート推論
• Authors: Peihua Mai, Youjia Yang, Ran Yan, Rui Ye, Yan Pang,
• Abstract要約: 最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
• 参考スコア（独自算出の注目度）: 3.8134804426693094
• License:
• Abstract: State-of-the-art large language models (LLMs) are typically deployed as online services, requiring users to transmit detailed prompts to cloud servers. This raises significant privacy concerns. In response, we introduce ConfusionPrompt, a novel framework for private LLM inference that protects user privacy by: (i) decomposing the original prompt into smaller sub-prompts, and (ii) generating pseudo-prompts alongside the genuine sub-prompts, which are then sent to the LLM. The server responses are later recomposed by the user to reconstruct the final output. This approach offers key advantages over previous LLM privacy protection methods: (i) it integrates seamlessly with existing black-box LLMs, and (ii) it delivers a significantly improved privacy-utility trade-off compared to existing text perturbation methods. We also develop a $(\lambda, \mu, \rho)$-privacy model to formulate the requirements for a privacy-preserving group of prompts and provide a complexity analysis to justify the role of prompt decomposition. Our empirical evaluation shows that ConfusionPrompt achieves significantly higher utility than local inference methods using open-source models and perturbation-based techniques, while also reducing memory consumption compared to open-source LLMs.
• Abstract（参考訳）: 最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 これにより、プライバシーの懸念が高まる。 ConfusionPromptは,ユーザプライバシを保護する,プライベートLLM推論のための新しいフレームワークだ。 (i)元のプロンプトを小さなサブプロンプトに分解し、 (ii) 擬似プロンプトを真のサブプロンプトと共に生成し、LLMに送信する。 サーバのレスポンスは、最後に出力を再構築するために、ユーザによって再コンパイルされる。 このアプローチは,従来のLLMプライバシ保護手法よりも重要なメリットを提供する。 (i)既存のブラックボックスLCMとシームレスに統合し、 (II)既存のテキスト摂動法に比べて、プライバシーとユーティリティのトレードオフが大幅に改善されている。 また、プライバシを保存するプロンプトのグループの要件を定式化し、プロンプト分解の役割を正当化する複雑性解析を提供するために、$(\lambda, \mu, \rho)$-privacyモデルも開発しています。 実験により,コンフュージョンプロンプトは,オープンソースモデルや摂動に基づく手法を用いた局所的推論手法よりも有効性が高く,かつ,オープンソースのLCMに比べてメモリ消費を低減できることがわかった。

関連論文リスト

• FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
  特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。 ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。 提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-11-01T19:19:23Z)
• The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
  新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。 これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。 キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-30T06:55:00Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
  本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。 モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
  論文  参考訳（メタデータ） (2024-06-18T03:27:09Z)
• Personalized LLM Response Generation with Parameterized Memory Injection [19.417549781029233]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。 パーソナライズされたLSM応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-04-04T16:20:34Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• Language Models as Black-Box Optimizers for Vision-Language Models [62.80817942316398]
  Webスケールデータセットで事前トレーニングされた視覚言語モデル(VLM)は、最小限のデータで微調整された場合、下流タスクに顕著な機能を示す。 我々は,自然言語のプロンプトを通じてVLMを最適化するためのブラックボックスアプローチを開発することを目指している。
  論文  参考訳（メタデータ） (2023-09-12T04:03:41Z)
• Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
  本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。 本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
  論文  参考訳（メタデータ） (2023-09-06T14:54:11Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
  PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
  論文  参考訳（メタデータ） (2021-11-03T03:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。