論文の概要: Differentially Private Bayesian Neural Networks on Accuracy, Privacy and Reliability

• arxiv url: http://arxiv.org/abs/2107.08461v1
• Date: Sun, 18 Jul 2021 14:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:07:21.703393
• Title: Differentially Private Bayesian Neural Networks on Accuracy, Privacy and Reliability
• Title（参考訳）: 精度、プライバシ、信頼性に関する差分プライベートベイズニューラルネットワーク
• Authors: Qiyiwen Zhang, Zhiqi Bu, Kan Chen, Qi Long
• Abstract要約: ベイズニューラルネットワーク(BNN)におけるプライバシと精度のトレードオフを分析する 同一ネットワークアーキテクチャにおける重みの不確かさを特徴付ける3つのDP-BNNを提案する。 我々はDP-SGLDとDP-SGLDの新たな等価性を示す。
• 参考スコア（独自算出の注目度）: 18.774153273396244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian neural network (BNN) allows for uncertainty quantification in prediction, offering an advantage over regular neural networks that has not been explored in the differential privacy (DP) framework. We fill this important gap by leveraging recent development in Bayesian deep learning and privacy accounting to offer a more precise analysis of the trade-off between privacy and accuracy in BNN. We propose three DP-BNNs that characterize the weight uncertainty for the same network architecture in distinct ways, namely DP-SGLD (via the noisy gradient method), DP-BBP (via changing the parameters of interest) and DP-MC Dropout (via the model architecture). Interestingly, we show a new equivalence between DP-SGD and DP-SGLD, implying that some non-Bayesian DP training naturally allows for uncertainty quantification. However, the hyperparameters such as learning rate and batch size, can have different or even opposite effects in DP-SGD and DP-SGLD. Extensive experiments are conducted to compare DP-BNNs, in terms of privacy guarantee, prediction accuracy, uncertainty quantification, calibration, computation speed, and generalizability to network architecture. As a result, we observe a new tradeoff between the privacy and the reliability. When compared to non-DP and non-Bayesian approaches, DP-SGLD is remarkably accurate under strong privacy guarantee, demonstrating the great potential of DP-BNN in real-world tasks.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(BNN)は、予測における不確実な定量化を可能にし、差分プライバシ(DP)フレームワークで検討されていない通常のニューラルネットワークよりも有利である。 ベイジアンディープラーニングとプライバシ会計の最近の発展を活用して、BNNのプライバシーと精度のトレードオフをより正確に分析することで、この重要なギャップを埋める。 本稿では,同一ネットワークアーキテクチャの重み不確かさを異なる方法で特徴付ける3つのDP-BNN,すなわち,DP-SGLD(雑音勾配法),DP-BBP(利害パラメータの変更),DP-MC Dropout(モデルアーキテクチャ)を提案する。 興味深いことに,dp-sgd と dp-sgld の新たな等価性を示し,非ベイズ型 dp トレーニングが自然に不確実性定量化を可能にすることを示唆する。 しかし、学習速度やバッチサイズなどのハイパーパラメータは、DP-SGDとDP-SGLDでは異なる、あるいは反対の効果を持つ。 プライバシ保証,予測精度,不確実性定量化,キャリブレーション,計算速度,ネットワークアーキテクチャへの一般化性の観点から,dp-bnnの比較を行った。 その結果,プライバシと信頼性の新たなトレードオフが観察された。 非DPおよび非ベイズ的アプローチと比較して、DP-SGLDは強力なプライバシー保証の下で極めて正確であり、現実のタスクにおけるDP-BNNの大きな可能性を示している。

関連論文リスト

• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Blink: Link Local Differential Privacy in Graph Neural Networks via Bayesian Estimation [79.64626707978418]
  分散ノード上でのリンクローカル差分プライバシーを用いてグラフニューラルネットワークをトレーニングする。 当社のアプローチでは、グラフトポロジをより悪用するために、グラフのリンクと学位を別々に、プライバシ予算に費やしています。 当社のアプローチは、様々なプライバシー予算の下での精度において、既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-06T17:53:31Z)
• Heterogeneous Randomized Response for Differential Privacy in Graph Neural Networks [18.4005860362025]
  グラフニューラルネットワーク(GNN)は、プライバシ推論攻撃(PIA)の影響を受けやすい 差分プライバシ(DP)保証の下で,ノードの特徴やエッジをPIAに対して保護する機構を提案する。 ノードの特徴とエッジの両レベルで、より優れたランダム化確率とより厳密なエラー境界を導出する。
  論文  参考訳（メタデータ） (2022-11-10T18:52:46Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。