論文の概要: Teach Large Language Models to Forget Privacy
- arxiv url: http://arxiv.org/abs/2401.00870v1
- Date: Sat, 30 Dec 2023 01:26:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 15:37:23.908861
- Title: Teach Large Language Models to Forget Privacy
- Title（参考訳）: 大きな言語モデルにプライバシーを忘れるように教える
- Authors: Ran Yan, Yujun Li, Wenqian Li, Peihua Mai, Yan Pang, and Yinchuan Li
- Abstract要約: 大きな言語モデル(LLM)は強力であることが証明されているが、プライバシリークのリスクは依然として重大な懸念である。
差別化プライバシやホモモルフィック暗号化といった従来のプライバシ保護手法は、ブラックボックスAPIのみの設定では不十分である。
本稿では,LLMのローカルプライバシ問題に対処するための最初のフレームワークであるPrompt2Forgetを提案する。
- 参考スコア（独自算出の注目度）: 14.959123531802582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have proven powerful, but the risk of privacy
leakage remains a significant concern. Traditional privacy-preserving methods,
such as Differential Privacy and Homomorphic Encryption, are inadequate for
black-box API-only settings, demanding either model transparency or heavy
computational resources. We propose Prompt2Forget (P2F), the first framework
designed to tackle the LLM local privacy challenge by teaching LLM to forget.
The method involves decomposing full questions into smaller segments,
generating fabricated answers, and obfuscating the model's memory of the
original input. A benchmark dataset was crafted with questions containing
privacy-sensitive information from diverse fields. P2F achieves zero-shot
generalization, allowing adaptability across a wide range of use cases without
manual adjustments. Experimental results indicate P2F's robust capability to
obfuscate LLM's memory, attaining a forgetfulness score of around 90\% without
any utility loss. This represents an enhancement of up to 63\% when contrasted
with the naive direct instruction technique, highlighting P2F's efficacy in
mitigating memory retention of sensitive information within LLMs. Our findings
establish the first benchmark in the novel field of the LLM forgetting task,
representing a meaningful advancement in privacy preservation in the emerging
LLM domain.
- Abstract（参考訳）: 大きな言語モデル(LLM)は強力であることが証明されているが、プライバシリークのリスクは依然として重大な懸念である。
ディファレンシャルプライバシや準同型暗号化といった従来のプライバシ保護手法は、ブラックボックスのapiのみの設定では不十分であり、モデルの透明性と重い計算リソースを要求する。
我々は,llmローカルプライバシ問題に取り組むための最初のフレームワークであるprompt2forget (p2f)を提案する。
この方法は、完全な質問を小さなセグメントに分解し、作成された回答を生成し、モデルのオリジナルの入力のメモリを隠蔽する。
ベンチマークデータセットには、さまざまな分野のプライバシーに敏感な情報を含む質問が含まれている。
P2Fはゼロショットの一般化を実現し、手動調整なしで広範囲のユースケースに適応可能である。
実験結果から, P2F は LLM のメモリを難読化でき, 約90% % の忘れやすさを達成できた。
これは、naive direct instruction techniqueと対照的に最大63\%の強化を示し、llm内の機密情報のメモリ保持を緩和するp2fの有効性を強調している。
本研究は,LLM忘れタスクの新たな分野において,新たなLLMドメインにおけるプライバシ保護の有意義な進歩を示す最初のベンチマークを確立した。
関連論文リスト
- FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。
ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。
提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文 参考訳（メタデータ） (2024-11-01T19:19:23Z) - The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。
これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。
キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-30T06:55:00Z) - Prompt Tuning as User Inherent Profile Inference Machine [53.78398656789463]
本稿では,ユーザプロファイルの推測にプロンプトチューニングを用いるUserIP-Tuningを提案する。
プロファイル量子化コードブックは、プロファイル埋め込みによるモダリティギャップを協調IDにブリッジする。
4つの公開データセットの実験では、UserIP-Tuningは最先端のレコメンデーションアルゴリズムを上回っている。
論文 参考訳（メタデータ） (2024-08-13T02:25:46Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。
既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。
本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T14:28:56Z) - PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。
モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
論文 参考訳（メタデータ） (2024-06-18T03:27:09Z) - Personalized LLM Response Generation with Parameterized Memory Injection [19.417549781029233]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
パーソナライズされたLSM応答生成は、医療などの重要な分野の個人に多大な利益をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-04-04T16:20:34Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳（メタデータ） (2023-11-27T02:01:10Z) - Language Models as Black-Box Optimizers for Vision-Language Models [62.80817942316398]
Webスケールデータセットで事前トレーニングされた視覚言語モデル(VLM)は、最小限のデータで微調整された場合、下流タスクに顕著な機能を示す。
我々は,自然言語のプロンプトを通じてVLMを最適化するためのブラックボックスアプローチを開発することを目指している。
論文 参考訳（メタデータ） (2023-09-12T04:03:41Z) - Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文 参考訳（メタデータ） (2023-09-06T14:54:11Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳（メタデータ） (2021-11-03T03:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。