論文の概要: The Fire Thief Is Also the Keeper: Balancing Usability and Privacy in Prompts
- arxiv url: http://arxiv.org/abs/2406.14318v1
- Date: Thu, 20 Jun 2024 13:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 13:32:31.207884
- Title: The Fire Thief Is Also the Keeper: Balancing Usability and Privacy in Prompts
- Title(参考訳): ファイア・ティーフ」も「キーパー」-ユーザービリティとプライバシーのバランスをとる
- Authors: Zhili Shen, Zihang Xi, Ying He, Wei Tong, Jingyu Hua, Sheng Zhong,
- Abstract要約: 本稿では、エンドツーエンドのプライバシ保護フレームワークであるPrompt Privacy Sanitizer(ProSan)を紹介する。
タスクのユーザビリティと人間の可読性を維持しながら、コンテキストプライバシを排除した匿名プロンプトを生成する。
ProSanは多様な計算リソース条件に適応でき、計算能力に制限のあるモバイルデバイスでもプライバシ保護を保証できる。
- 参考スコア(独自算出の注目度): 7.121210449712282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid adoption of online chatbots represents a significant advancement in artificial intelligence. However, this convenience brings considerable privacy concerns, as prompts can inadvertently contain sensitive information exposed to large language models (LLMs). Limited by high computational costs, reduced task usability, and excessive system modifications, previous works based on local deployment, embedding perturbation, and homomorphic encryption are inapplicable to online prompt-based LLM applications. To address these issues, this paper introduces Prompt Privacy Sanitizer (i.e., ProSan), an end-to-end prompt privacy protection framework that can produce anonymized prompts with contextual privacy removed while maintaining task usability and human readability. It can also be seamlessly integrated into the online LLM service pipeline. To achieve high usability and dynamic anonymity, ProSan flexibly adjusts its protection targets and strength based on the importance of the words and the privacy leakage risk of the prompts. Additionally, ProSan is capable of adapting to diverse computational resource conditions, ensuring privacy protection even for mobile devices with limited computing power. Our experiments demonstrate that ProSan effectively removes private information across various tasks, including question answering, text summarization, and code generation, with minimal reduction in task performance.
- Abstract(参考訳): オンラインチャットボットの急速な普及は、人工知能の大幅な進歩を示している。
しかし、この利便性は、プロンプトが大きな言語モデル(LLM)に露出する機密情報を不注意に含めるため、かなりのプライバシー上の懸念をもたらす。
高計算コスト、タスクの使いやすさの低下、システムの過度な変更によって制限され、従来のローカルデプロイメント、埋め込み摂動、および同型暗号化はオンラインのプロンプトベースのLLMアプリケーションには適用できない。
これらの問題に対処するために、タスクのユーザビリティと人間の可読性を維持しながら、匿名化されたプロンプトを生成可能な、エンドツーエンドのプロンプトプライバシ保護フレームワークであるProSan(Prompt Privacy Sanitizer)を紹介した。
オンラインLLMサービスパイプラインにシームレスに統合することもできる。
高いユーザビリティと動的匿名性を達成するために、ProSanは、単語の重要性とプロンプトのプライバシー漏洩リスクに基づいて、その保護目標と強度を柔軟に調整する。
さらに、ProSanは多様な計算リソース条件に適応でき、計算能力に制限のあるモバイルデバイスでもプライバシ保護を保証できる。
実験の結果, ProSanは質問応答, テキスト要約, コード生成など, タスク性能を最小限に抑えながら, 様々なタスクにまたがるプライベート情報を効果的に除去することを示した。
関連論文リスト
- Preempting Text Sanitization Utility in Resource-Constrained Privacy-Preserving LLM Interactions [4.372695214012181]
本稿では,大規模言語モデルに送信される前に,衛生効果がプロンプトに与える影響を推定するアーキテクチャを提案する。
このアーキテクチャを評価した結果,差分プライバシーに基づくテキストのサニタイズに重大な問題があることが明らかとなった。
論文 参考訳(メタデータ) (2024-11-18T12:31:22Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳(メタデータ) (2024-06-20T13:54:32Z) - PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration [18.11846784025521]
PrivacyRestoreは、推論中のユーザの入力のプライバシを保護するためのプラグイン・アンド・プレイ方式である。
プライバシストアの有効性を評価するために、医療ドメインと法律ドメインをカバーする3つのデータセットを作成します。
論文 参考訳(メタデータ) (2024-06-03T14:57:39Z) - No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。
プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
論文 参考訳(メタデータ) (2024-05-31T08:22:53Z) - Privacy-Preserving End-to-End Spoken Language Understanding [7.501598786895441]
人間のスピーチには、性別、アイデンティティ、センシティブなコンテンツなど、多くのユーザセンシティブな情報が含まれる。
新たなタイプのセキュリティおよびプライバシ侵害が出現した。ユーザは、信頼できない第三者による悪意ある攻撃に対して、個人情報を公開したくない。
本稿では,音声認識(ASR)とID認識(IR)の両方を防止するために,新しいマルチタスクプライバシ保護モデルを提案する。
論文 参考訳(メタデータ) (2024-03-22T03:41:57Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T05:36:54Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳(メタデータ) (2023-11-27T02:01:10Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。
RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
論文 参考訳(メタデータ) (2023-10-18T18:00:11Z) - Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。
本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
論文 参考訳(メタデータ) (2023-10-16T13:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。