Fugu-MT 論文翻訳(概要): Privacy-Preserving Recommender Systems with Synthetic Query Generation using Differentially Private Large Language Models

論文の概要: Privacy-Preserving Recommender Systems with Synthetic Query Generation using Differentially Private Large Language Models

arxiv url: http://arxiv.org/abs/2305.05973v1
Date: Wed, 10 May 2023 08:30:31 GMT
ステータス: 処理完了
システム内更新日: 2023-05-11 14:00:18.146271
Title: Privacy-Preserving Recommender Systems with Synthetic Query Generation using Differentially Private Large Language Models
Title（参考訳）: 微分プライベート大言語モデルを用いた合成クエリ生成によるプライバシ保護レコメンダシステム
Authors: Aldo Gael Carranza, Rezsa Farahani, Natalia Ponomareva, Alex Kurakin, Matthew Jagielski, Milad Nasr
Abstract要約: 差分プライベート(DP)大言語モデル(LLM)を用いたプライバシー保護型大規模レコメンデータシステムの開発のための新しいアプローチを提案する。提案手法は,効率的な深層検索モデルをセキュアに訓練する能力について評価し,クエリレベルのプライバシー保証を損なうことなく,検索品質の大幅な向上を観察する。
参考スコア（独自算出の注目度）: 13.27646106051183
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel approach for developing privacy-preserving large-scale recommender systems using differentially private (DP) large language models (LLMs) which overcomes certain challenges and limitations in DP training these complex systems. Our method is particularly well suited for the emerging area of LLM-based recommender systems, but can be readily employed for any recommender systems that process representations of natural language inputs. Our approach involves using DP training methods to fine-tune a publicly pre-trained LLM on a query generation task. The resulting model can generate private synthetic queries representative of the original queries which can be freely shared for any downstream non-private recommendation training procedures without incurring any additional privacy cost. We evaluate our method on its ability to securely train effective deep retrieval models, and we observe significant improvements in their retrieval quality without compromising query-level privacy guarantees compared to methods where the retrieval models are directly DP trained.
Abstract（参考訳）: 本稿では,DP学習における課題や制約を克服する,差分プライベート(LLM)大言語モデルを用いたプライバシー保護型大規模レコメンデータシステムの開発手法を提案する。本手法は,llmに基づくレコメンダシステムの新興分野に特に適しているが,自然言語入力の表現を処理するレコメンダシステムでは容易に適用できる。提案手法では,DPトレーニング手法を用いて,クエリ生成タスクにおいて,事前学習したLLMを微調整する。その結果、プライバシコストを増大させることなく、下流の非プライベートレコメンデーショントレーニング手順で自由に共有可能な、オリジナルのクエリを表すプライベート合成クエリを生成することができる。提案手法は,有効な深層検索モデルをセキュアに訓練する能力について評価し,検索モデルを直接訓練した手法と比較して,クエリレベルのプライバシー保証を損なうことなく,検索品質を著しく向上させる。

関連論文リスト

Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文参考訳（メタデータ） (2024-10-22T15:22:53Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
LazyDP: Co-Designing Algorithm-Software for Scalable Training of Differentially Private Recommendation Models [8.92538797216985]
本稿ではDP-SGDを用いたプライベートRecSysトレーニングの特性について述べる。本稿では,RecSysをDP-SGDでトレーニングする際の計算とメモリの問題に対処するアルゴリズムとソフトウェアの共同設計であるLazyDPを提案する。最先端のDP-SGDトレーニングシステムと比較して,LazyDPが平均119倍のトレーニングスループット向上を実現していることを示す。
論文参考訳（メタデータ） (2024-04-12T23:32:06Z)
Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
論文参考訳（メタデータ） (2024-03-19T17:54:49Z)
LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
論文参考訳（メタデータ） (2024-02-26T11:52:55Z)
A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
論文参考訳（メタデータ） (2023-09-27T14:38:16Z)
Differentially-Private Data Synthetisation for Efficient Re-Identification Risk Control [3.8811062755861956]
$epsilon$-PrivateSMOTEは、再識別とリンケージ攻撃を防ぐためのテクニックである。提案手法は,ノイズに起因した逆数による合成データ生成と,高リスクケースを難読化するための差分プライバシー原則を組み合わせたものである。
論文参考訳（メタデータ） (2022-12-01T13:20:37Z)
PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-06-08T18:00:01Z)
Federated Intrusion Detection for IoT with Heterogeneous Cohort Privacy [0.0]
IoT(Internet of Things)デバイスはますます普及し、医療や輸送といった多くのアプリケーションドメインに影響を与える。本研究では,このようなIoTデバイスのネットワーク上での侵入攻撃を検出するために,差分プライベート(DP)ニューラルネットワーク(NN)ベースのネットワーク侵入検出システム(NIDS)を検討する。このドメインの既存のNNトレーニングソリューションは、プライバシの考慮を無視したり、すべてのユーザのプライバシー要件が均一であると仮定する。クライアントのプライバシ要件が不均一である場合,非IDデータ分布を持つクライアントに対して,既存の差分プライベートメソッドの性能が低下することを示す。
論文参考訳（メタデータ） (2021-01-25T03:33:27Z)
User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。