論文の概要: The Fire Thief Is Also the Keeper: Balancing Usability and Privacy in Prompts
- arxiv url: http://arxiv.org/abs/2406.14318v1
- Date: Thu, 20 Jun 2024 13:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 13:32:31.207884
- Title: The Fire Thief Is Also the Keeper: Balancing Usability and Privacy in Prompts
- Title(参考訳): ファイア・ティーフ」も「キーパー」-ユーザービリティとプライバシーのバランスをとる
- Authors: Zhili Shen, Zihang Xi, Ying He, Wei Tong, Jingyu Hua, Sheng Zhong,
- Abstract要約: 本稿では、エンドツーエンドのプライバシ保護フレームワークであるPrompt Privacy Sanitizer(ProSan)を紹介する。
タスクのユーザビリティと人間の可読性を維持しながら、コンテキストプライバシを排除した匿名プロンプトを生成する。
ProSanは多様な計算リソース条件に適応でき、計算能力に制限のあるモバイルデバイスでもプライバシ保護を保証できる。
- 参考スコア(独自算出の注目度): 7.121210449712282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid adoption of online chatbots represents a significant advancement in artificial intelligence. However, this convenience brings considerable privacy concerns, as prompts can inadvertently contain sensitive information exposed to large language models (LLMs). Limited by high computational costs, reduced task usability, and excessive system modifications, previous works based on local deployment, embedding perturbation, and homomorphic encryption are inapplicable to online prompt-based LLM applications. To address these issues, this paper introduces Prompt Privacy Sanitizer (i.e., ProSan), an end-to-end prompt privacy protection framework that can produce anonymized prompts with contextual privacy removed while maintaining task usability and human readability. It can also be seamlessly integrated into the online LLM service pipeline. To achieve high usability and dynamic anonymity, ProSan flexibly adjusts its protection targets and strength based on the importance of the words and the privacy leakage risk of the prompts. Additionally, ProSan is capable of adapting to diverse computational resource conditions, ensuring privacy protection even for mobile devices with limited computing power. Our experiments demonstrate that ProSan effectively removes private information across various tasks, including question answering, text summarization, and code generation, with minimal reduction in task performance.
- Abstract(参考訳): オンラインチャットボットの急速な普及は、人工知能の大幅な進歩を示している。
しかし、この利便性は、プロンプトが大きな言語モデル(LLM)に露出する機密情報を不注意に含めるため、かなりのプライバシー上の懸念をもたらす。
高計算コスト、タスクの使いやすさの低下、システムの過度な変更によって制限され、従来のローカルデプロイメント、埋め込み摂動、および同型暗号化はオンラインのプロンプトベースのLLMアプリケーションには適用できない。
これらの問題に対処するために、タスクのユーザビリティと人間の可読性を維持しながら、匿名化されたプロンプトを生成可能な、エンドツーエンドのプロンプトプライバシ保護フレームワークであるProSan(Prompt Privacy Sanitizer)を紹介した。
オンラインLLMサービスパイプラインにシームレスに統合することもできる。
高いユーザビリティと動的匿名性を達成するために、ProSanは、単語の重要性とプロンプトのプライバシー漏洩リスクに基づいて、その保護目標と強度を柔軟に調整する。
さらに、ProSanは多様な計算リソース条件に適応でき、計算能力に制限のあるモバイルデバイスでもプライバシ保護を保証できる。
実験の結果, ProSanは質問応答, テキスト要約, コード生成など, タスク性能を最小限に抑えながら, 様々なタスクにまたがるプライベート情報を効果的に除去することを示した。
関連論文リスト
- Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳(メタデータ) (2024-06-20T13:54:32Z) - NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [55.20137833039499]
我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。
我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。
論文 参考訳(メタデータ) (2024-06-06T05:07:44Z) - No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。
プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
論文 参考訳(メタデータ) (2024-05-31T08:22:53Z) - Privacy-Preserving End-to-End Spoken Language Understanding [7.501598786895441]
人間のスピーチには、性別、アイデンティティ、センシティブなコンテンツなど、多くのユーザセンシティブな情報が含まれる。
新たなタイプのセキュリティおよびプライバシ侵害が出現した。ユーザは、信頼できない第三者による悪意ある攻撃に対して、個人情報を公開したくない。
本稿では,音声認識(ASR)とID認識(IR)の両方を防止するために,新しいマルチタスクプライバシ保護モデルを提案する。
論文 参考訳(メタデータ) (2024-03-22T03:41:57Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T05:36:54Z) - EmojiCrypt: Prompt Encryption for Secure Communication with Large
Language Models [41.090214475309516]
クラウドベースの大規模言語モデル(LLM)は、データ漏洩と機密情報への不正アクセスの重大なリスクを引き起こす。
本稿では,ユーザプライバシ保護のためのシンプルかつ効果的なメカニズムであるEmojiCryptを提案する。
論文 参考訳(メタデータ) (2024-02-08T17:57:11Z) - Silent Guardian: Protecting Text from Malicious Exploitation by Large Language Models [63.91178922306669]
大規模言語モデル(LLM)に対するテキスト保護機構であるSilent Guardianを紹介する。
保護されるテキストを慎重に修正することで、TPEはLDMを誘導して最初にエンドトークンをサンプリングし、直接相互作用を終了させることができる。
本研究では,SGがターゲットテキストを種々の構成で効果的に保護し,保護成功率の約100%を達成できることを示す。
論文 参考訳(メタデータ) (2023-12-15T10:30:36Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳(メタデータ) (2023-11-27T02:01:10Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
論文 参考訳(メタデータ) (2023-10-18T18:00:11Z) - Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文 参考訳(メタデータ) (2023-09-06T14:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。