Fugu-MT 論文翻訳(概要): Practical and Private (Deep) Learning without Sampling or Shuffling

論文の概要: Practical and Private (Deep) Learning without Sampling or Shuffling

arxiv url: http://arxiv.org/abs/2103.00039v1
Date: Fri, 26 Feb 2021 20:16:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-04 05:42:53.163454
Title: Practical and Private (Deep) Learning without Sampling or Shuffling
Title（参考訳）: サンプリングやシャッフルなしで実践的でプライベートな(深い)学習
Authors: Peter Kairouz, Brendan McMahan, Shuang Song, Om Thakkar, Abhradeep Thakurta, Zheng Xu
Abstract要約: ミニバッチ勾配を用いた差分プライバシーのトレーニングモデルを検討する。 DP-SGDを増幅したDP-SGDと比較し,DP-FTRLを解析した。
参考スコア（独自算出の注目度）: 24.29228578925639
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider training models with differential privacy (DP) using mini-batch gradients. The existing state-of-the-art, Differentially Private Stochastic Gradient Descent (DP-SGD), requires privacy amplification by sampling or shuffling to obtain the best privacy/accuracy/computation trade-offs. Unfortunately, the precise requirements on exact sampling and shuffling can be hard to obtain in important practical scenarios, particularly federated learning (FL). We design and analyze a DP variant of Follow-The-Regularized-Leader (DP-FTRL) that compares favorably (both theoretically and empirically) to amplified DP-SGD, while allowing for much more flexible data access patterns. DP-FTRL does not use any form of privacy amplification.
Abstract（参考訳）: ミニバッチグラデーションを用いた差分プライバシー(DP)のトレーニングモデルを検討する。 DP-SGDは、最高のプライバシー/正確性/コンピューティングのトレードオフを得るためにサンプリングまたはシャフリングによるプライバシーの増幅を必要とします。残念ながら、正確なサンプリングとシャッフルの正確な要件は、重要な実践シナリオ、特に連邦学習(FL)において得るのは難しい。 DP-SGDの増幅と(理論的および実証的に)有利に比較し、より柔軟なデータアクセスパターンを可能にするDP-FTRLのDPバリアントを設計し、分析します。 DP-FTRLはいかなる形のプライバシー増幅も使用しません。

関連論文リスト

Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文参考訳（メタデータ） (2024-11-06T19:06:16Z)
Differentially Private Block-wise Gradient Shuffle for Deep Learning [0.0]
本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 DP-BloGSは、既存の私的なディープラーニングの文献から成り立っているが、勾配雑音導入に対する確率的アプローチを採用することで、決定的な変化を生んでいる。 DP-SGDよりもデータ抽出に対する耐性が高いことが判明した。
論文参考訳（メタデータ） (2024-07-31T05:32:37Z)
Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
論文参考訳（メタデータ） (2024-07-20T00:11:59Z)
How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文参考訳（メタデータ） (2024-03-26T13:02:43Z)
Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文参考訳（メタデータ） (2022-06-14T19:49:44Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文参考訳（メタデータ） (2021-11-01T18:10:21Z)
Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文参考訳（メタデータ） (2021-10-12T01:45:27Z)
Privacy Amplification via Random Check-Ins [38.72327434015975]
Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
論文参考訳（メタデータ） (2020-07-13T18:14:09Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。