論文の概要: Teach Large Language Models to Forget Privacy
- arxiv url: http://arxiv.org/abs/2401.00870v1
- Date: Sat, 30 Dec 2023 01:26:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 15:37:23.908861
- Title: Teach Large Language Models to Forget Privacy
- Title(参考訳): 大きな言語モデルにプライバシーを忘れるように教える
- Authors: Ran Yan, Yujun Li, Wenqian Li, Peihua Mai, Yan Pang, and Yinchuan Li
- Abstract要約: 大きな言語モデル(LLM)は強力であることが証明されているが、プライバシリークのリスクは依然として重大な懸念である。
差別化プライバシやホモモルフィック暗号化といった従来のプライバシ保護手法は、ブラックボックスAPIのみの設定では不十分である。
本稿では,LLMのローカルプライバシ問題に対処するための最初のフレームワークであるPrompt2Forgetを提案する。
- 参考スコア(独自算出の注目度): 14.959123531802582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have proven powerful, but the risk of privacy
leakage remains a significant concern. Traditional privacy-preserving methods,
such as Differential Privacy and Homomorphic Encryption, are inadequate for
black-box API-only settings, demanding either model transparency or heavy
computational resources. We propose Prompt2Forget (P2F), the first framework
designed to tackle the LLM local privacy challenge by teaching LLM to forget.
The method involves decomposing full questions into smaller segments,
generating fabricated answers, and obfuscating the model's memory of the
original input. A benchmark dataset was crafted with questions containing
privacy-sensitive information from diverse fields. P2F achieves zero-shot
generalization, allowing adaptability across a wide range of use cases without
manual adjustments. Experimental results indicate P2F's robust capability to
obfuscate LLM's memory, attaining a forgetfulness score of around 90\% without
any utility loss. This represents an enhancement of up to 63\% when contrasted
with the naive direct instruction technique, highlighting P2F's efficacy in
mitigating memory retention of sensitive information within LLMs. Our findings
establish the first benchmark in the novel field of the LLM forgetting task,
representing a meaningful advancement in privacy preservation in the emerging
LLM domain.
- Abstract(参考訳): 大きな言語モデル(LLM)は強力であることが証明されているが、プライバシリークのリスクは依然として重大な懸念である。
ディファレンシャルプライバシや準同型暗号化といった従来のプライバシ保護手法は、ブラックボックスのapiのみの設定では不十分であり、モデルの透明性と重い計算リソースを要求する。
我々は,llmローカルプライバシ問題に取り組むための最初のフレームワークであるprompt2forget (p2f)を提案する。
この方法は、完全な質問を小さなセグメントに分解し、作成された回答を生成し、モデルのオリジナルの入力のメモリを隠蔽する。
ベンチマークデータセットには、さまざまな分野のプライバシーに敏感な情報を含む質問が含まれている。
P2Fはゼロショットの一般化を実現し、手動調整なしで広範囲のユースケースに適応可能である。
実験結果から, P2F は LLM のメモリを難読化でき, 約90% % の忘れやすさを達成できた。
これは、naive direct instruction techniqueと対照的に最大63\%の強化を示し、llm内の機密情報のメモリ保持を緩和するp2fの有効性を強調している。
本研究は,LLM忘れタスクの新たな分野において,新たなLLMドメインにおけるプライバシ保護の有意義な進歩を示す最初のベンチマークを確立した。
関連論文リスト
- BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。
従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。
BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文 参考訳(メタデータ) (2024-03-27T08:57:21Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [52.96184447403505]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、6つの下流タスクでプライベートに微調整されたRoBERTaで実証される。
論文 参考訳(メタデータ) (2023-10-14T18:42:56Z) - Knowledge Sanitization of Large Language Models [4.722882736419499]
大規模な言語モデル(LLM)は、大量のWebデータをトレーニングすることで、機密情報や機密情報を明らかにする可能性がある。
我々の手法はローランド適応法(LoRA)を用いてこれらのモデルを効率的に微調整する。
クローズドブック質問応答タスクによる実験結果から,本手法は知識リークを最小限に抑えるだけでなく,LLMの全体的な性能も維持できることがわかった。
論文 参考訳(メタデータ) (2023-09-21T07:49:55Z) - Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文 参考訳(メタデータ) (2023-09-06T14:54:11Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。