Fugu-MT 論文翻訳(概要): Privacy Budget Scheduling

論文の概要: Privacy Budget Scheduling

arxiv url: http://arxiv.org/abs/2106.15335v1
Date: Tue, 29 Jun 2021 12:43:47 GMT
ステータス: 処理完了
システム内更新日: 2021-06-30 15:15:36.238206
Title: Privacy Budget Scheduling
Title（参考訳）: プライバシー予算のスケジューリング
Authors: Tao Luo, Mingen Pan, Pierre Tholoniat, Asaf Cidon, Roxana Geambasu, Mathias L\'ecuyer
Abstract要約: 個人データに基づいてトレーニングされたMLモデルは、ユーザに関する情報を漏洩させることが示されている。差分プライバシー(DP)は、この漏洩を保証したモデルトレーニングを可能にする。一般的なデータセンタオーケストレータの拡張であるPrivateKubeについて説明する。
参考スコア（独自算出の注目度）: 3.5329693371326822
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning (ML) models trained on personal data have been shown to leak information about users. Differential privacy (DP) enables model training with a guaranteed bound on this leakage. Each new model trained with DP increases the bound on data leakage and can be seen as consuming part of a global privacy budget that should not be exceeded. This budget is a scarce resource that must be carefully managed to maximize the number of successfully trained models. We describe PrivateKube, an extension to the popular Kubernetes datacenter orchestrator that adds privacy as a new type of resource to be managed alongside other traditional compute resources, such as CPU, GPU, and memory. The abstractions we design for the privacy resource mirror those defined by Kubernetes for traditional resources, but there are also major differences. For example, traditional compute resources are replenishable while privacy is not: a CPU can be regained after a model finishes execution while privacy budget cannot. This distinction forces a re-design of the scheduler. We present DPF (Dominant Private Block Fairness) -- a variant of the popular Dominant Resource Fairness (DRF) algorithm -- that is geared toward the non-replenishable privacy resource but enjoys similar theoretical properties as DRF. We evaluate PrivateKube and DPF on microbenchmarks and an ML workload on Amazon Reviews data. Compared to existing baselines, DPF allows training more models under the same global privacy guarantee. This is especially true for DPF over R\'enyi DP, a highly composable form of DP.
Abstract（参考訳）: 個人データに基づいてトレーニングされた機械学習(ML)モデルは、ユーザに関する情報を漏洩させる。差分プライバシー(DP)は、この漏洩を保証したモデルトレーニングを可能にする。 DPでトレーニングされた各新しいモデルは、データ漏洩の制限を増大させ、グローバルなプライバシ予算の一部を消費すると見なすことができる。この予算は不十分なリソースであり、うまくトレーニングされたモデルの数を最大化するために慎重に管理されなければならない。 PrivateKubeは、一般的なKubernetesデータセンタオーケストレータの拡張で、CPUやGPU、メモリといった従来の計算リソースと並行して管理される新たなタイプのリソースとして、プライバシを追加するものだ。私たちがプライバシリソース用に設計した抽象化は、従来のリソースとしてkubernetesで定義したものと同じですが、大きな違いもあります。例えば、従来の計算リソースは補足可能だが、プライバシはそうではない。モデルが実行を終えた後、cpuは取り戻せるが、プライバシ予算はできない。この区別はスケジューラの再設計を強制する。 DPF (Dominant Private Block Fairness) - 有名なDominant Resource Fairness (DRF) アルゴリズムの亜種で、再生不能なプライバシリソースを対象としているが、DRFと同じような理論的特性を持っている。マイクロベンチマーク上でPrivateKubeとDPFを評価し,Amazon Reviewsデータ上でMLワークロードを評価する。既存のベースラインと比較して、DPFは同じグローバルプライバシ保証の下で、より多くのモデルをトレーニングすることができる。これは特に R'enyi DP 上の DPF には当てはまる。

関連論文リスト

No-regret Exploration in Shuffle Private Reinforcement Learning [18.142491344065046]
パーソナライズされたサービスにおけるユーザのプライバシの懸念に対処するために、差分プライバシー(DP)がエピソード強化学習(RL)に導入された。シャッフルモデルでは,信頼されたシャッフルが中央エージェントに送信する前に,ユーザのデータをランダムに置換する。分析の結果,アルゴリズムは集中型モデルに匹敵するほぼ最適の後悔を達成し,プライバシコストの点で局所モデルよりも大幅に優れていることがわかった。
論文参考訳（メタデータ） (2024-11-18T15:24:11Z)
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文参考訳（メタデータ） (2024-10-21T16:25:14Z)
Privacy Profiles for Private Selection [21.162924003105484]
私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
論文参考訳（メタデータ） (2024-02-09T08:31:46Z)
DPack: Efficiency-Oriented Privacy Budget Scheduling [12.526800233996322]
差分プライバシー(DP)は、その漏洩を所定の予算で束縛する厳格な方法を提供する。このDP予算は、ユーザデータに基づいてトレーニングされた複数のMLモデルのワークロードにおいて、新しいタイプの計算リソースと見なすことができる。我々は、プライバシースケジューリングを、DP予算効率を最大化する多次元クナップサック問題と呼ばれる新しいタイプの多次元クナップサック問題として定式化する。
論文参考訳（メタデータ） (2022-12-26T17:25:02Z)
TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文参考訳（メタデータ） (2022-10-07T08:44:35Z)
Pre-trained Perceptual Features Improve Differentially Private Image Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文参考訳（メタデータ） (2022-05-25T16:46:01Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文参考訳（メタデータ） (2021-11-01T18:10:21Z)
User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。