論文の概要: Recycling Scraps: Improving Private Learning by Leveraging Intermediate
Checkpoints
- arxiv url: http://arxiv.org/abs/2210.01864v1
- Date: Tue, 4 Oct 2022 19:21:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 15:04:13.385997
- Title: Recycling Scraps: Improving Private Learning by Leveraging Intermediate
Checkpoints
- Title(参考訳): リサイクルスクラップ:中間チェックポイントを活用した個人学習の改善
- Authors: Virat Shejwalkar, Arun Ganesh, Rajiv Mathews, Om Thakkar, Abhradeep
Thakurta
- Abstract要約: 本研究は,DPトレーニングの有用性を向上させるために,中間チェックポイントを集約する様々な手法について検討する。
CIFAR10およびStackOverflowデータセットの既存のSOTAよりも,チェックポイントアグリゲーションが予測精度を大幅に向上させることを示す。
最後に,最後の数個のチェックポイントからのサンプルのばらつきは,DPランの最終モデルのばらつきをよく近似できることを示す。
- 参考スコア(独自算出の注目度): 17.654346227497403
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: All state-of-the-art (SOTA) differentially private machine learning (DP ML)
methods are iterative in nature, and their privacy analyses allow publicly
releasing the intermediate training checkpoints. However, DP ML benchmarks, and
even practical deployments, typically use only the final training checkpoint to
make predictions. In this work, for the first time, we comprehensively explore
various methods that aggregate intermediate checkpoints to improve the utility
of DP training. Empirically, we demonstrate that checkpoint aggregations
provide significant gains in the prediction accuracy over the existing SOTA for
CIFAR10 and StackOverflow datasets, and that these gains get magnified in
settings with periodically varying training data distributions. For instance,
we improve SOTA StackOverflow accuracies to 22.7% (+0.43% absolute) for
$\epsilon=8.2$, and 23.84% (+0.43%) for $\epsilon=18.9$. Theoretically, we show
that uniform tail averaging of checkpoints improves the empirical risk
minimization bound compared to the last checkpoint of DP-SGD. Lastly, we
initiate an exploration into estimating the uncertainty that DP noise adds in
the predictions of DP ML models. We prove that, under standard assumptions on
the loss function, the sample variance from last few checkpoints provides a
good approximation of the variance of the final model of a DP run. Empirically,
we show that the last few checkpoints can provide a reasonable lower bound for
the variance of a converged DP model.
- Abstract(参考訳): 最先端(SOTA)のすべてのプライベート機械学習(DP ML)メソッドは本質的に反復的であり、そのプライバシ分析によって中間トレーニングチェックポイントを公開することができる。
しかし、DP MLベンチマークや実践的なデプロイメントでさえ、予測のために最終的なトレーニングチェックポイントのみを使用するのが一般的である。
本稿では,dpトレーニングの有用性を向上させるために,中間チェックポイントを集約する様々な手法を初めて総合的に検討する。
実証的に、チェックポイント集約は、cifar10とstackoverflowデータセットの既存のsataよりも、予測精度が大幅に向上することを示し、これらの向上は、定期的に異なるトレーニングデータ分布を持つ設定で拡大されることを示した。
例えば、SOTA StackOverflowの精度を$\epsilon=8.2$で22.7%(+0.43%絶対)、$\epsilon=18.9$で23.84%(+0.43%)に改善する。
理論的には、チェックポイントの均一なテール平均化は、DP-SGDの最終チェックポイントと比較して経験的リスク最小化を改善する。
最後に,DP MLモデルの予測においてDPノイズが付加する不確かさを推定する調査を開始する。
損失関数の標準仮定の下では、最後のいくつかのチェックポイントからのサンプル分散がdp実行の最終モデルの分散のよい近似となることが証明される。
実験により,最後の数個のチェックポイントが収束されたDPモデルの分散に対して妥当な下界を与えることを示す。
関連論文リスト
- Auto DP-SGD: Dual Improvements of Privacy and Accuracy via Automatic
Clipping Threshold and Noise Multiplier Estimation [1.7942265700058988]
DP-SGDは、ディープラーニングアプリケーションにおける個人識別情報を保護するための一般的な方法として登場した。
本稿では,各トレーニングサンプルの勾配を勾配情報を失うことなくスケールするAuto DP-SGDを提案する。
我々は,Auto DP-SGDが既存のSOTA DP-SGDメソッドよりも,様々なベンチマークデータセットのプライバシと精度で優れていることを示す。
論文 参考訳(メタデータ) (2023-12-05T00:09:57Z) - ApproBiVT: Lead ASR Models to Generalize Better Using Approximated
Bias-Variance Tradeoff Guided Early Stopping and Checkpoint Averaging [7.0626076422397475]
トレーニングの損失と検証の損失をバイアスと分散のプロキシとして捉え、早期停止とチェックポイント平均化を導く。
先進的なASRモデルで評価すると、我々のレシピは2.5%-3.7%と3.1%-4.6%のCER削減をもたらす。
論文 参考訳(メタデータ) (2023-08-05T12:50:54Z) - AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。
この問題に対処するためにテスト時適応(TTA)手法が提案されている。
本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
論文 参考訳(メタデータ) (2023-04-25T04:23:13Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Post-Processing Temporal Action Detection [134.26292288193298]
時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。
この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。
モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
論文 参考訳(メタデータ) (2022-11-27T19:50:37Z) - Differentially Private Bootstrap: New Privacy Analysis and Inference
Strategies [28.95350475681164]
統計解析手法にランダム性を導入することにより、個人レベルの情報を保護する。
サンプリング分布を推定し、信頼区間(CI)を構築するために、複数のプライベートブートストラップ推定を解放するDPブートストラップ手順を検討する。
筆者らのプライバシー分析では,DPブートストラップ推定のプライバシコストに関する新たな結果を示し,既存の文献におけるブートストラップの誤用を識別する。
論文 参考訳(メタデータ) (2022-10-12T12:48:25Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。