論文の概要: PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration
- arxiv url: http://arxiv.org/abs/2406.01394v1
- Date: Mon, 3 Jun 2024 14:57:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 22:39:57.231749
- Title: PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration
- Title（参考訳）: プライバシストア:プライバシ削除とリカバリによる大規模言語モデルにおけるプライバシ保護推論
- Authors: Ziqian Zeng, Jianwei Wang, Zhengdong Lu, Huiping Zhuang, Cen Chen,
- Abstract要約: 本稿では,大規模言語モデル推論におけるユーザ入力のプライバシ保護のためのプライバシストアを提案する。
PrivacyRestoreは、ユーザ入力のプライバシスパンを直接削除し、推論中のアクティベーションステアリングを通じてプライバシ情報を復元する。
実験によると、PrivacyRestoreは、許容レベルのパフォーマンスと推論効率を維持しながら、プライベート情報を保護することができる。
- 参考スコア（独自算出の注目度）: 18.67432819687349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread usage of online Large Language Models (LLMs) inference services has raised significant privacy concerns about the potential exposure of private information in user inputs to eavesdroppers or untrustworthy service providers. Existing privacy protection methods for LLMs suffer from insufficient privacy protection, performance degradation, or severe inference time overhead. In this paper, we propose PrivacyRestore to protect the privacy of user inputs during LLM inference. PrivacyRestore directly removes privacy spans in user inputs and restores privacy information via activation steering during inference. The privacy spans are encoded as restoration vectors. We propose Attention-aware Weighted Aggregation (AWA) which aggregates restoration vectors of all privacy spans in the input into a meta restoration vector. AWA not only ensures proper representation of all privacy spans but also prevents attackers from inferring the privacy spans from the meta restoration vector alone. This meta restoration vector, along with the query with privacy spans removed, is then sent to the server. The experimental results show that PrivacyRestore can protect private information while maintaining acceptable levels of performance and inference efficiency.
- Abstract（参考訳）: オンラインのLarge Language Models (LLMs) 推論サービスが広く使われていることで、eavesdropperや信頼できないサービスプロバイダへのユーザ入力にプライベート情報が暴露される可能性があるというプライバシー上の懸念が高まっている。
LLMの既存のプライバシー保護方法は、プライバシ保護の不足、性能劣化、厳しい推論時間オーバーヘッドに悩まされている。
本稿では,LLM推論におけるユーザ入力のプライバシ保護のためのプライバシストアを提案する。
PrivacyRestoreは、ユーザ入力のプライバシスパンを直接削除し、推論中のアクティベーションステアリングを通じてプライバシ情報を復元する。
プライバシスパンは復元ベクトルとしてエンコードされる。
本稿では,AWA(Attention-Aware Weighted Aggregation)を提案する。AWAは,入力中のすべてのプライバシの復元ベクトルをメタ復元ベクトルに集約する。
AWAはすべてのプライバシスパンの適切な表現を保証するだけでなく、攻撃者がメタ復元ベクタのみからプライバシスパンを推測することを防ぐ。
このメタ復元ベクタは、プライバシが削除されたクエリとともに、サーバに送信される。
実験の結果,PrivacyRestoreは,許容レベルのパフォーマンスと推論効率を維持しつつ,個人情報を保護できることがわかった。
関連論文リスト
- PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳（メタデータ） (2024-08-29T17:58:38Z) - Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。
ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文 参考訳（メタデータ） (2024-06-20T13:54:32Z) - Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。
入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。
本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T05:36:54Z) - Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。
PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
論文 参考訳（メタデータ） (2023-10-19T06:55:13Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳（メタデータ） (2023-10-03T17:30:33Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳（メタデータ） (2022-11-18T11:39:03Z) - Privacy Explanations - A Means to End-User Trust [64.7066037969487]
この問題に対処するために、説明可能性がどのように役立つかを検討しました。
私たちはプライバシーの説明を作成し、エンドユーザの理由と特定のデータが必要な理由を明らかにするのに役立ちました。
我々の発見は、プライバシーの説明がソフトウェアシステムの信頼性を高めるための重要なステップであることを示している。
論文 参考訳（メタデータ） (2022-10-18T09:30:37Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T15:23:28Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z) - Learning With Differential Privacy [3.618133010429131]
異なるプライバシーは、漏洩に対する適切な保護を約束して救助にやってくる。
データの収集時にランダムな応答技術を使用し、より優れたユーティリティで強力なプライバシを保証します。
論文 参考訳（メタデータ） (2020-06-10T02:04:13Z) - PrivEdge: From Local to Distributed Private Training and Prediction [43.02041269239928]
PrivEdgeはプライバシ保護機械学習(ML)のためのテクニック
PrivEdgeは、トレーニングのためにデータを提供するユーザのプライバシと、予測サービスを使用するユーザのプライバシを保護する。
PrivEdgeは、プライバシの保存や、プライベートイメージと非プライベートイメージの区別において、高い精度とリコールを持っていることを示す。
論文 参考訳（メタデータ） (2020-04-12T09:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。