論文の概要: DPack: Efficiency-Oriented Privacy Budget Scheduling

• arxiv url: http://arxiv.org/abs/2212.13228v2
• Date: Thu, 10 Oct 2024 22:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:28:37.852672
• Title: DPack: Efficiency-Oriented Privacy Budget Scheduling
• Title（参考訳）: DPack: 効率志向のプライバシ予算スケジューリング
• Authors: Pierre Tholoniat, Kelly Kostopoulou, Mosharaf Chowdhury, Asaf Cidon, Roxana Geambasu, Mathias Lécuyer, Junfeng Yang,
• Abstract要約: 差分プライバシー(DP)は、その漏洩を所定の予算で束縛する厳格な方法を提供する。 このDP予算は、ユーザデータに基づいてトレーニングされた複数のMLモデルのワークロードにおいて、新しいタイプの計算リソースと見なすことができる。 我々は、プライバシースケジューリングを、DP予算効率を最大化する多次元クナップサック問題と呼ばれる新しいタイプの多次元クナップサック問題として定式化する。
• 参考スコア（独自算出の注目度）: 12.526800233996322
• License:
• Abstract: Machine learning (ML) models can leak information about users, and differential privacy (DP) provides a rigorous way to bound that leakage under a given budget. This DP budget can be regarded as a new type of compute resource in workloads of multiple ML models training on user data. Once it is used, the DP budget is forever consumed. Therefore, it is crucial to allocate it most efficiently to train as many models as possible. This paper presents the scheduler for privacy that optimizes for efficiency. We formulate privacy scheduling as a new type of multidimensional knapsack problem, called privacy knapsack, which maximizes DP budget efficiency. We show that privacy knapsack is NP-hard, hence practical algorithms are necessarily approximate. We develop an approximation algorithm for privacy knapsack, DPack, and evaluate it on microbenchmarks and on a new, synthetic private-ML workload we developed from the Alibaba ML cluster trace. We show that DPack: (1) often approaches the efficiency-optimal schedule, (2) consistently schedules more tasks compared to a state-of-the-art privacy scheduling algorithm that focused on fairness (1.3-1.7x in Alibaba, 1.0-2.6x in microbenchmarks), but (3) sacrifices some level of fairness for efficiency. Therefore, using DPack, DP ML operators should be able to train more models on the same amount of user data while offering the same privacy guarantee to their users.
• Abstract（参考訳）: 機械学習(ML)モデルは、ユーザに関する情報をリークし、差分プライバシー(DP)は、所定の予算の下でそのリークを束縛する厳格な方法を提供する。 このDP予算は、ユーザデータに基づいてトレーニングされた複数のMLモデルのワークロードにおいて、新しいタイプの計算リソースと見なすことができる。 一度使用すれば、DP予算は永遠に消費されます。 そのため、できるだけ多くのモデルを訓練するために、最大限に効率的に配置することが不可欠である。 本稿では、効率を最適化するプライバシースケジューラを提案する。 我々は、プライバシースケジューリングを、DP予算効率を最大化する多次元クナップサック問題と呼ばれる新しいタイプの多次元クナップサック問題として定式化する。 プライバシ・クナプサックはNPハードであるため、実用的なアルゴリズムは必然的に近似的であることを示す。 我々はプライバシknapsack,DPackの近似アルゴリズムを開発し、マイクロベンチマークとAlibaba MLクラスタトレースから開発した新しい合成プライベートMLワークロードに基づいて評価する。 DPack:(1)は効率最適化のスケジュールによく近づき、(2)公正性(Alibabaの1.3-1.7x、マイクロベンチマークの1.0-2.6x)に焦点を当てた最先端のプライバシスケジューリングアルゴリズムと比較して、タスクを継続的にスケジュールするが、(3)効率の公平性のある程度のレベルを犠牲にする。 したがって、DPackを使用することで、DP MLオペレータは、同じ量のユーザデータ上で、同じプライバシ保証をユーザに対して提供しながら、より多くのモデルをトレーニングできるようになります。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Optimal Differentially Private Model Training with Public Data [13.16576244790641]
  差分プライバシー(DP)は、機械学習モデルのトレーニングがプライベートデータをリークしないことを保証する。 実際には、プライバシーの懸念のない補助的な公開データにアクセスできます。
  論文  参考訳（メタデータ） (2023-06-26T20:40:29Z)
• Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
  差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。 私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。 私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
  論文  参考訳（メタデータ） (2022-05-25T16:46:01Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Privacy Budget Scheduling [3.5329693371326822]
  個人データに基づいてトレーニングされたMLモデルは、ユーザに関する情報を漏洩させることが示されている。 差分プライバシー(DP)は、この漏洩を保証したモデルトレーニングを可能にする。 一般的なデータセンタオーケストレータの拡張であるPrivateKubeについて説明する。
  論文  参考訳（メタデータ） (2021-06-29T12:43:47Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
  差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。 本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。 このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
  論文  参考訳（メタデータ） (2020-06-16T17:47:48Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。