論文の概要: PSY: Posterior Sampling Based Privacy Enhancer in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.18824v1
• Date: Thu, 24 Oct 2024 15:15:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:48:19.297901
• Title: PSY: Posterior Sampling Based Privacy Enhancer in Large Language Models
• Title（参考訳）: PSY: 大規模言語モデルにおける後方サンプリングに基づくプライバシアンハンス
• Authors: Yulian Sun, Li Duan, Yong Li,
• Abstract要約: ポストリアサンプリングをベースとしたPrivacYエンハンサーであるPSYをLoRAで使用することができる。 PSYは、プライバシー漏洩を中間情報から効果的に防止し、データ所有者のプライバシを保存する。 我々は,PSYで拡張したLoRAを,最先端のメンバシップ推論とデータ抽出攻撃に対して評価した。
• 参考スコア（独自算出の注目度）: 4.757452100946532
• License:
• Abstract: Privacy vulnerabilities in LLMs, such as leakage from memorization, have been constantly identified, and various mitigation proposals have been proposed. LoRA is usually used in fine-tuning LLMs and a good entry point to insert privacy-enhancing modules. In this ongoing research, we introduce PSY, a Posterior Sampling based PrivacY enhancer that can be used in LoRA. We propose a simple yet effective realization of PSY using posterior sampling, which effectively prevents privacy leakage from intermediate information and, in turn, preserves the privacy of data owners. We evaluate LoRA extended with PSY against state-of-the-art membership inference and data extraction attacks. The experiments are executed on three different LLM architectures fine-tuned on three datasets with LoRA. In contrast to the commonly used differential privacy method, we find that our proposed modification consistently reduces the attack success rate. Meanwhile, our method has almost no negative impact on model fine-tuning or final performance. Most importantly, PSY reveals a promising path toward privacy enhancement with latent space extensions.
• Abstract（参考訳）: 暗記からの漏洩などのLDMのプライバシー上の脆弱性が常に特定され、様々な緩和提案が提案されている。 LoRAは通常、微調整のLLMで使われ、プライバシー強化モジュールを挿入するための良いエントリポイントである。 本研究は,PSY(PSY, Posterior Smpling based PrivacY enhancer)を紹介する。 そこで本研究では,PSYの簡易かつ効果的な実装法を提案する。この手法により,データ所有者のプライバシの漏洩を効果的に防止し,データ所有者のプライバシを保護できる。 我々は,PSYで拡張したLoRAを,最先端のメンバシップ推論とデータ抽出攻撃に対して評価した。 実験は、LoRAで3つのデータセットに微調整された3つの異なるLLMアーキテクチャ上で実行される。 一般的に使われている差分プライバシー法とは対照的に,提案手法は攻撃成功率を一貫して低下させる。 一方,本手法はモデル微調整や最終性能にほとんど悪影響を及ぼさない。 最も重要な点として、PSYは遅延スペース拡張によるプライバシー強化に向けた有望な道のりを明らかにしている。

関連論文リスト

• Encryption-Friendly LLM Architecture [11.386436468650016]
  ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。 本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:48:35Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Exposing Privacy Gaps: Membership Inference Attack on Preference Data for LLM Alignment [8.028743532294532]
  そこで我々は、PreMIAと呼ばれる嗜好データを分析するための新しい参照ベースアタックフレームワークを提案する。 PPOモデルと比較してDPOモデルの方がMIAに弱いという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-07-08T22:53:23Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
  本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。 本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
  論文  参考訳（メタデータ） (2023-09-06T14:54:11Z)
• TeD-SPAD: Temporal Distinctiveness for Self-supervised Privacy-preservation for video Anomaly Detection [59.04634695294402]
  人間の監視のないビデオ異常検出(VAD)は複雑なコンピュータビジョンタスクである。 VADのプライバシー漏洩により、モデルは人々の個人情報に関連する不必要なバイアスを拾い上げ、増幅することができる。 本稿では,視覚的プライベート情報を自己管理的に破壊する,プライバシーに配慮したビデオ異常検出フレームワークTeD-SPADを提案する。
  論文  参考訳（メタデータ） (2023-08-21T22:42:55Z)
• Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
  本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。 パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
  論文  参考訳（メタデータ） (2023-05-24T08:37:27Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。