論文の概要: Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection
- arxiv url: http://arxiv.org/abs/2309.03057v1
- Date: Wed, 6 Sep 2023 14:54:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 15:05:18.510360
- Title: Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection
- Title(参考訳): hide and seek (has): 迅速なプライバシー保護のための軽量フレームワーク
- Authors: Yu Chen, Tingxin Li, Huiming Liu, Yang Yu
- Abstract要約: 本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
- 参考スコア(独自算出の注目度): 6.201275002179716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numerous companies have started offering services based on large language
models (LLM), such as ChatGPT, which inevitably raises privacy concerns as
users' prompts are exposed to the model provider. Previous research on secure
reasoning using multi-party computation (MPC) has proven to be impractical for
LLM applications due to its time-consuming and communication-intensive nature.
While lightweight anonymization techniques can protect private information in
prompts through substitution or masking, they fail to recover sensitive data
replaced in the LLM-generated results. In this paper, we expand the application
scenarios of anonymization techniques by training a small local model to
de-anonymize the LLM's returned results with minimal computational overhead. We
introduce the HaS framework, where "H(ide)" and "S(eek)" represent its two core
processes: hiding private entities for anonymization and seeking private
entities for de-anonymization, respectively. To quantitatively assess HaS's
privacy protection performance, we propose both black-box and white-box
adversarial models. Furthermore, we conduct experiments to evaluate HaS's
usability in translation and classification tasks. The experimental findings
demonstrate that the HaS framework achieves an optimal balance between privacy
protection and utility.
- Abstract(参考訳): 多数の企業が大規模言語モデル(llm)に基づくサービスの提供を開始している。chatgptなどでは,ユーザのプロンプトがモデルプロバイダに公開されるため,必然的にプライバシの懸念が高まる。
マルチパーティ計算(MPC)を用いたセキュア推論に関するこれまでの研究は、その時間と通信集約性から、LLMアプリケーションには実用的でないことが証明されている。
軽量な匿名化技術は、置換やマスキングによるプロンプトで個人情報を保護することができるが、LSM生成結果に置換された機密データの回復には失敗する。
本稿では, LLMの返却結果を最小限の計算オーバーヘッドで匿名化するために, 小さな局所モデルを訓練することにより, 匿名化手法の適用シナリオを拡大する。
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスである,匿名化のためのプライベートエンティティの隠蔽と,匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
さらに,翻訳および分類作業におけるHaSのユーザビリティを評価する実験を行った。
実験の結果,HaSフレームワークはプライバシー保護とユーティリティの最適なバランスを実現することがわかった。
関連論文リスト
- The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented
Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。
本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文 参考訳(メタデータ) (2024-02-23T18:35:15Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T05:36:54Z) - DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt
Engineer [60.44898240755332]
大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。
しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。
本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
論文 参考訳(メタデータ) (2023-11-27T02:01:10Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。
パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
論文 参考訳(メタデータ) (2023-05-24T08:37:27Z) - Privacy-Preserving Prompt Tuning for Large Language Model Services [16.589104544849743]
本稿では,LLM(Large Language Models)サービスのプライバシ保証を提供するフレームワークを提案する。
textscraptはローカルのプライバシー設定を採用しており、ユーザーはローカルの差分プライバシーでデータを民営化することができる。
フレームワークの単純さにもかかわらず、RAPTは敵に対するプライバシー保証を提供しながら、タスク間での競合的なパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-05-10T14:41:51Z) - OPOM: Customized Invisible Cloak towards Face Privacy Protection [58.07786010689529]
我々は、新しいタイプのカスタマイズクロークに基づく技術の観点から、顔のプライバシ保護について検討する。
本研究では,個人固有の(クラスワイドな)ユニバーサルマスクを生成するために,1人1マスク(OPOM)という新しい手法を提案する。
提案手法の有効性を,共通データセットと有名データセットの両方で評価した。
論文 参考訳(メタデータ) (2022-05-24T11:29:37Z) - When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile
Crowdsensing System [12.087658145293522]
モバイルクラウドセンシング(MCS)は、スケーラビリティ、デプロイメントコストの低減、分散特性を備えた、新たなセンシングデータ収集パターンである。
従来のMCSシステムはプライバシーの懸念と公正な報酬分配に苦しんでいます。
本論文では、textscCrowdFLと呼ばれるプライバシー保護MCSシステムを提案する。
論文 参考訳(メタデータ) (2021-02-20T15:34:23Z) - Privacy for Rescue: A New Testimony Why Privacy is Vulnerable In Deep
Models [6.902994369582068]
エッジクラウドシステム実行モデルにおけるプライバシ保護問題の形式的定義を示す。
我々は最先端の手法を分析し、それらの手法の欠点を指摘する。
本稿では,プライバシー保護手法の有効性を評価するために,より正確な2つの指標を提案する。
論文 参考訳(メタデータ) (2019-12-31T15:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。