論文の概要: End-to-End Differential Privacy in Training Deep Neural Network Classifiers

• arxiv url: http://arxiv.org/abs/2607.19580v1
• Date: Tue, 21 Jul 2026 21:15:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.930056
• Title: End-to-End Differential Privacy in Training Deep Neural Network Classifiers
• Title（参考訳）: 深層ニューラルネットワーク分類器の訓練におけるエンド・ツー・エンド差分プライバシー
• Authors: Huaiyuan Rao, Calvin Hawkins, Alexander Benvenuti, Matthew Hale,
• Abstract要約: そこで本稿では,ラベルを公開しながらトレーニングインプットを民営化する,新たなプライベートトレーニングフレームワークを提案する。 トレーニング入力の差分プライバシーを強制するために,ディリクレ機構を適用した。 CIFAR10,MNIST,MedMNIST,FashionMNIST,SVHNをスクラッチからトレーニングすると,新たな最先端の精度が得られる。
• 参考スコア（独自算出の注目度）: 40.03843776219224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private machine learning enables model training on sensitive data while ensuring that individual data is unlikely to be recoverable from the parameters of the resulting model. However, existing work often privatizes both training inputs and their labels, and these protections may be conservative when labels are public or can be safely made public. Therefore, in this work we propose a novel private training framework that instead privatizes training inputs while keeping labels public. We consider neural networks with softmax output layers, and thus the mapping from training inputs to the output of the softmax layer is a mapping onto the unit simplex. We randomize softmax outputs during training by applying the Dirichlet mechanism to enforce differential privacy for the training inputs, hence the ``end-to-end'' label. Because training data is reused across multiple training epochs, we use the notion of \Renyi differential privacy to formulate tight bounds on the strength of privacy provided by the Dirichlet mechanism across repeated uses. We show empirically that we attain new state-of-the-art accuracy when training from scratch on CIFAR10, MNIST, MedMNIST, FashionMNIST, and SVHN across all privacy budgets evaluated. Notably, when implementing $(ε, δ)$-differential privacy with $δ=10^{-5}$, we improve the prior state-of-the-art accuracy from $78.37\%$ to $88.17\%$ at $ε=4$ on CIFAR10, and our approach has $82.96\%$ accuracy even for $ε=1$, which significantly outperforms prior work.
• Abstract（参考訳）: 異なるプライベート機械学習は、個々のデータが結果モデルのパラメータから回復できないことを保証しながら、センシティブなデータに対するモデルトレーニングを可能にする。 しかしながら、既存の作業は、トレーニングインプットとラベルの両方を民営化することが多く、これらの保護は、ラベルがパブリックである場合や、安全に公開できる場合に保守的である可能性がある。 そこで,本稿では,ラベルを公開しながらトレーニングインプットを民営化する,新たなプライベートトレーニングフレームワークを提案する。 我々は、ソフトマックス出力層を持つニューラルネットワークを考える。したがって、トレーニング入力からソフトマックス層の出力へのマッピングは、単位単純度へのマッピングである。 トレーニング中のソフトマックス出力を、ディリクレ機構を適用してランダム化し、トレーニング入力の差分プライバシーを強制する。 トレーニングデータは、複数のトレーニングエポックで再利用されるため、繰り返し使用されるDirichletメカニズムによって提供されるプライバシーの強度に厳密な境界を定式化するために、‘Renyi差分プライバシー’という概念を使用する。 CIFAR10,MNIST,MedMNIST,FashionMNIST,SVHNをスクラッチからトレーニングすると,すべてのプライバシー予算で新たな最先端の精度が得られることを示す。 特に、$(ε, δ)$-differential privacy with $δ=10^{-5}$を実装すると、先行の最先端の精度を78.37\%$から8.17\%$ at $ε=4$ on CIFAR10に改善します。

関連論文リスト

• Differentially Private Image Classification by Learning Priors from Random Processes [48.0766422536737]
  プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。 近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。 本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
  論文  参考訳（メタデータ） (2023-06-08T04:14:32Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• On the Intrinsic Differential Privacy of Bagging [69.70602220716718]
  我々は、Bagingが、同じプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも、はるかに高い精度を達成することを示す。 実験結果から,Bagingは,同一のプライバシー予算を持つ最先端の差分プライベート機械学習手法よりも格段に高い精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-08-22T14:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。