論文の概要: Lifelong DP: Consistently Bounded Differential Privacy in Lifelong Machine Learning

• arxiv url: http://arxiv.org/abs/2207.12831v1
• Date: Tue, 26 Jul 2022 11:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 12:31:00.297066
• Title: Lifelong DP: Consistently Bounded Differential Privacy in Lifelong Machine Learning
• Title（参考訳）: Lifelong DP: 生涯機械学習における相反する差分プライバシー
• Authors: Phung Lai, Han Hu, NhatHai Phan, Ruoming Jin, My T. Thai, An M. Chen
• Abstract要約: 新たなタスクを継続的に学習し,過去のタスクを記憶するプロセスは,未知のプライバシリスクと,プライバシ損失を拘束する課題をもたらすことを示す。 ライフロングDPの形式的定義を導入し、任意のタスクのトレーニングセットにデータを含めることが保護される。 我々はL2DP-MLと呼ばれるスケーラブルで異種なアルゴリズムを提案し、L2Mモデルの新バージョンを効率的に訓練し、継続する。
• 参考スコア（独自算出の注目度）: 28.68587691924582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we show that the process of continually learning new tasks and memorizing previous tasks introduces unknown privacy risks and challenges to bound the privacy loss. Based upon this, we introduce a formal definition of Lifelong DP, in which the participation of any data tuples in the training set of any tasks is protected, under a consistently bounded DP protection, given a growing stream of tasks. A consistently bounded DP means having only one fixed value of the DP privacy budget, regardless of the number of tasks. To preserve Lifelong DP, we propose a scalable and heterogeneous algorithm, called L2DP-ML with a streaming batch training, to efficiently train and continue releasing new versions of an L2M model, given the heterogeneity in terms of data sizes and the training order of tasks, without affecting DP protection of the private training set. An end-to-end theoretical analysis and thorough evaluations show that our mechanism is significantly better than baseline approaches in preserving Lifelong DP. The implementation of L2DP-ML is available at: https://github.com/haiphanNJIT/PrivateDeepLearning.
• Abstract（参考訳）: 本稿では、新しいタスクを継続的に学習し、以前のタスクを記憶するプロセスが、未知のプライバシリスクと、プライバシ損失を制限するための課題をもたらすことを示す。 そこで本研究では,各タスクのトレーニングセットにおけるデータタプルの参加は,タスクのストリームが増大する中で,常に拘束されたDP保護の下で保護される,Lifelong DPの形式的定義を紹介する。 常に拘束されたDPとは、タスクの数にかかわらず、DPプライバシ予算の固定値が1つしかないことを意味する。 Lifelong DP を保存するために,L2DP-ML と呼ばれるスケーラブルで不均一なアルゴリズムを提案し,データサイズとタスクのトレーニング順序の異質性から L2M モデルの新バージョンを効率的に訓練・リリースし,プライベートトレーニングセットのDP 保護に影響を与えることなく提供する。 エンド・ツー・エンドの理論解析と徹底的な評価により,我々のメカニズムはライフロングDPの保存におけるベースラインアプローチよりもはるかに優れていることが示された。 L2DP-MLの実装は以下の通りである。

関連論文リスト

• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Differentially Private Reinforcement Learning with Self-Play [18.124829682487558]
  差分プライバシー制約を伴うマルチエージェント強化学習(multi-agent RL)の問題について検討する。 まず,ジョイントDP (JDP) とローカルDP (LDP) の定義を2プレイヤーゼロサム・エピソード・マルコフゲームに拡張する。 我々は、楽観的なナッシュ値とベルンシュタイン型ボーナスの民営化に基づく証明可能なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-04-11T08:42:51Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)
• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• Personalized DP-SGD using Sampling Mechanisms [5.50042037663784]
  Phi$,$Delta$)- Personalized Differential Privacy (($Phi$,$Delta$)- PDP。 提案アルゴリズムは,複数ラウンドのパーソナライズされたサンプリング機構を使用し,DP-SGDイテレーションに組み込む。 実データを用いた実験の結果,提案アルゴリズムはDP-SGDとDP-SGDと既存のPDP機構の単純な組み合わせよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-24T13:56:57Z)
• How to DP-fy ML: A Practical Guide to Machine Learning with Differential Privacy [22.906644117887133]
  差分プライバシー(DP)は、データ匿名化に関する公式声明を作成するための金の標準となっている。 DPの採用は、DP保護が持つもの、プライバシーが目的とするもの、そしてMLモデルの優れたプライバシ・ユーティリティ・コンピューティングトレードオフを達成することの難しさに関する限られた実践的なガイダンスによって妨げられている。 この研究は自己完結型のガイドであり、DP MLの分野を詳細に概観し、厳格なプライバシー保証を備えた最高のDP MLモデルを達成するための情報を提供する。
  論文  参考訳（メタデータ） (2023-03-01T16:56:39Z)
• A New Dimensionality Reduction Method Based on Hensel's Compression for Privacy Protection in Federated Learning [1.0152838128195467]
  既存のDPベースのアプローチの限界を克服するために,プライバシ保護アプローチの2つのレイヤを提案する。 第1のレイヤは、HenselのLemmaに基づいて、トレーニングデータセットの次元を縮小する。 第2の層は、第1の層によって生成された圧縮データセットにDPを適用する。
  論文  参考訳（メタデータ） (2022-05-01T23:52:16Z)
• Exploration-Exploitation in Constrained MDPs [79.23623305214275]
  拘束マルコフ決定過程(CMDP)における探索・探索ジレンマについて検討する。 未知のCMDPで学習している間、エージェントは、MDPに関する新しい情報を見つけるために、トレードオフ探索を行う必要がある。 エージェントは最終的に良い方針や最適な方針を学習するが、学習プロセス中にエージェントが制約に過度に違反することを望まない。
  論文  参考訳（メタデータ） (2020-03-04T17:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。