論文の概要: PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration

• arxiv url: http://arxiv.org/abs/2406.01394v2
• Date: Sat, 12 Oct 2024 06:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:03:30.505524
• Title: PrivacyRestore: Privacy-Preserving Inference in Large Language Models via Privacy Removal and Restoration
• Title（参考訳）: プライバシストア:プライバシ削除とリカバリによる大規模言語モデルにおけるプライバシ保護推論
• Authors: Ziqian Zeng, Jianwei Wang, Junyao Yang, Zhengdong Lu, Huiping Zhuang, Cen Chen,
• Abstract要約: PrivacyRestoreは、推論中のユーザの入力のプライバシを保護するためのプラグイン・アンド・プレイ方式である。 プライバシストアの有効性を評価するために、医療ドメインと法律ドメインをカバーする3つのデータセットを作成します。
• 参考スコア（独自算出の注目度）: 18.11846784025521
• License:
• Abstract: The widespread usage of online Large Language Models (LLMs) inference services has raised significant privacy concerns about the potential exposure of private information in user inputs to malicious eavesdroppers. Existing privacy protection methods for LLMs suffer from either insufficient privacy protection, performance degradation, or large inference time overhead. To address these limitations, we propose PrivacyRestore, a plug-and-play method to protect the privacy of user inputs during LLM inference. The server first trains restoration vectors for each privacy span and then release to clients. Privacy span is defined as a contiguous sequence of tokens within a text that contain private information. The client then aggregate restoration vectors of all privacy spans in the input into a single meta restoration vector which is later sent to the server side along with the input without privacy spans.The private information is restored via activation steering during inference. Furthermore, we prove that PrivacyRestore inherently prevents the linear growth of the privacy budget.We create three datasets, covering medical and legal domains, to evaluate the effectiveness of privacy preserving methods. The experimental results show that PrivacyRestore effectively protects private information and maintain acceptable levels of performance and inference overhead.
• Abstract（参考訳）: オンラインのLarge Language Models(LLM)推論サービスが広く使われていることで、悪意のある盗聴者へのユーザー入力に個人情報が露出する可能性があるというプライバシー上の懸念が高まっている。 LLMの既存のプライバシ保護方法は、プライバシー保護の不足、性能劣化、あるいは大きな推論時間オーバーヘッドに悩まされている。 これらの制約に対処するため,LLM推論時のユーザ入力のプライバシを保護するプラグイン・アンド・プレイ方式であるPrivacyRestoreを提案する。 サーバはまず、各プライバシの回復ベクタをトレーニングし、その後、クライアントにリリースする。 プライバシスパンは、プライベート情報を含むテキスト内のトークンの連続シーケンスとして定義される。 次に、クライアントは入力中のすべてのプライバシの復元ベクタを単一のメタ復元ベクタに集約し、後にサーバ側に送信され、プライバシのない入力とともに、推論中にアクティベーションステアリングによってプライベート情報が復元される。 さらに,プライバシレストアが本質的にプライバシ予算の線形成長を妨げることを証明し,プライバシ保存手法の有効性を評価するために,医療領域と法律領域をカバーする3つのデータセットを作成する。 実験の結果、PrivacyRestoreは、プライベート情報を効果的に保護し、許容されるレベルのパフォーマンスと推論オーバーヘッドを維持する。

関連論文リスト

• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy-Preserving Language Model Inference with Instance Obfuscation [33.86459812694288]
  言語モデル・アズ・ア・サービス(LM)は、開発者や研究者が事前訓練された言語モデルを使用して推論を行うための便利なアクセスを提供する。 入力データとプライベート情報を含む推論結果は、サービスコール中にプレーンテキストとして公開され、プライバシー上の問題が発生する。 本稿では,自然言語理解タスクにおける決定プライバシ問題に対処することに焦点を当てた,インスタンス・オブフルスケート推論(IOI)手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T05:36:54Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Privacy Explanations - A Means to End-User Trust [64.7066037969487]
  この問題に対処するために、説明可能性がどのように役立つかを検討しました。 私たちはプライバシーの説明を作成し、エンドユーザの理由と特定のデータが必要な理由を明らかにするのに役立ちました。 我々の発見は、プライバシーの説明がソフトウェアシステムの信頼性を高めるための重要なステップであることを示している。
  論文  参考訳（メタデータ） (2022-10-18T09:30:37Z)
• Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
  ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。 プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。 以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T15:23:28Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• Learning With Differential Privacy [3.618133010429131]
  異なるプライバシーは、漏洩に対する適切な保護を約束して救助にやってくる。 データの収集時にランダムな応答技術を使用し、より優れたユーティリティで強力なプライバシを保証します。
  論文  参考訳（メタデータ） (2020-06-10T02:04:13Z)
• PrivEdge: From Local to Distributed Private Training and Prediction [43.02041269239928]
  PrivEdgeはプライバシ保護機械学習(ML)のためのテクニック PrivEdgeは、トレーニングのためにデータを提供するユーザのプライバシと、予測サービスを使用するユーザのプライバシを保護する。 PrivEdgeは、プライバシの保存や、プライベートイメージと非プライベートイメージの区別において、高い精度とリコールを持っていることを示す。
  論文  参考訳（メタデータ） (2020-04-12T09:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。