論文の概要: Packing Privacy Budget Efficiently
- arxiv url: http://arxiv.org/abs/2212.13228v1
- Date: Mon, 26 Dec 2022 17:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 15:36:05.586981
- Title: Packing Privacy Budget Efficiently
- Title(参考訳): プライバシー予算を効果的にパッケージする
- Authors: Pierre Tholoniat, Kelly Kostopoulou, Mosharaf Chowdhury, Asaf Cidon,
Roxana Geambasu, Mathias L\'ecuyer, Junfeng Yang
- Abstract要約: 差分プライバシー(DP)は、その漏洩を所定の予算で束縛する厳格な方法を提供する。
このDP予算は、ユーザデータに基づいてトレーニングされた複数のMLモデルのワークロードにおいて、新しいタイプの計算リソースと見なすことができる。
我々は、プライバシースケジューリングを、DP予算効率を最大化する多次元クナップサック問題と呼ばれる新しいタイプの多次元クナップサック問題として定式化する。
- 参考スコア(独自算出の注目度): 10.51351125953885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) models can leak information about users, and
differential privacy (DP) provides a rigorous way to bound that leakage under a
given budget. This DP budget can be regarded as a new type of compute resource
in workloads of multiple ML models training on user data. Once it is used, the
DP budget is forever consumed. Therefore, it is crucial to allocate it most
efficiently to train as many models as possible. This paper presents the
scheduler for privacy that optimizes for efficiency. We formulate privacy
scheduling as a new type of multidimensional knapsack problem, called privacy
knapsack, which maximizes DP budget efficiency. We show that privacy knapsack
is NP-hard, hence practical algorithms are necessarily approximate. We develop
an approximation algorithm for privacy knapsack, DPK, and evaluate it on
microbenchmarks and on a new, synthetic private-ML workload we developed from
the Alibaba ML cluster trace. We show that DPK: (1) often approaches the
efficiency-optimal schedule, (2) consistently schedules more tasks compared to
a state-of-the-art privacy scheduling algorithm that focused on fairness
(1.3-1.7x in Alibaba, 1.0-2.6x in microbenchmarks), but (3) sacrifices some
level of fairness for efficiency. Therefore, using DPK, DP ML operators should
be able to train more models on the same amount of user data while offering the
same privacy guarantee to their users.
- Abstract(参考訳): 機械学習(ML)モデルは、ユーザに関する情報をリークし、差分プライバシー(DP)は、所定の予算の下でそのリークを束縛する厳格な方法を提供する。
このDP予算は、ユーザデータに基づいてトレーニングされた複数のMLモデルのワークロードにおいて、新しいタイプの計算リソースと見なすことができる。
一度使用すると、dp予算は永遠に消費される。
したがって、できるだけ多くのモデルを訓練するために最も効率的に割り当てることが不可欠である。
本稿では、効率を最適化するプライバシースケジューラを提案する。
プライバシスケジューリングを,dp予算効率を最大化するプライバシナップサックという,新たな多次元ナップサック問題として定式化する。
プライバシ・クナプサックはNPハードであるため、実用的なアルゴリズムは必ずしも近似である。
我々はプライバシknapsack,DPKの近似アルゴリズムを開発し、マイクロベンチマークとAlibaba MLクラスタトレースから開発した新しい合成プライベートMLワークロードに基づいて評価する。
DPK:(1)効率を最適化するスケジュールに近づき、(2)公正性(Alibabaの1.3-1.7倍、マイクロベンチマークの1.0-2.6倍)に焦点を当てた最先端のプライバシスケジューリングアルゴリズムと比較して、タスクを継続的にスケジュールする。
したがって、DPKを使用することで、DP MLオペレータは、同じ量のユーザデータ上で、同じプライバシ保証をユーザに対して提供しながら、より多くのモデルをトレーニングすることができます。
関連論文リスト
- Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Optimal Differentially Private Model Training with Public Data [14.382649652412322]
差分プライバシー(DP)は、機械学習モデルのトレーニングがプライベートデータをリークしないことを保証する。
実際には、プライバシーの懸念のない補助的な公開データにアクセスできます。
論文 参考訳(メタデータ) (2023-06-26T20:40:29Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Differentially Private Bias-Term only Fine-tuning of Foundation Models [29.7761220633954]
差分プライベートバイアス項微調整(DP-BiTFiT)を提案する。
DPアルゴリズムの最先端精度と標準BiTFiTの効率とを一致させる。
幅広いタスクにおいて、DP-BiTFiTは2sim 30times$で、DPフル微調整よりも2sim 8times$安いメモリを使用する。
論文 参考訳(メタデータ) (2022-09-30T18:30:48Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Privacy Budget Scheduling [3.5329693371326822]
個人データに基づいてトレーニングされたMLモデルは、ユーザに関する情報を漏洩させることが示されている。
差分プライバシー(DP)は、この漏洩を保証したモデルトレーニングを可能にする。
一般的なデータセンタオーケストレータの拡張であるPrivateKubeについて説明する。
論文 参考訳(メタデータ) (2021-06-29T12:43:47Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。
本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。
このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
論文 参考訳(メタデータ) (2020-06-16T17:47:48Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。