論文の概要: Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty

• arxiv url: http://arxiv.org/abs/2107.04296v1
• Date: Fri, 9 Jul 2021 08:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 23:17:44.794103
• Title: Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty
• Title（参考訳）: 予測不確実性を考慮したランゲヴィン力学を用いたニューラルネットワークの微分プライベートトレーニング
• Authors: Moritz Knolle, Alexander Ziller, Dmitrii Usynin, Rickmer Braren, Marcus R. Makowski, Daniel Rueckert, Georgios Kaissis
• Abstract要約: その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
• 参考スコア（独自算出の注目度）: 58.730520380312676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that differentially private stochastic gradient descent (DP-SGD) can yield poorly calibrated, overconfident deep learning models. This represents a serious issue for safety-critical applications, e.g. in medical diagnosis. We highlight and exploit parallels between stochastic gradient Langevin dynamics, a scalable Bayesian inference technique for training deep neural networks, and DP-SGD, in order to train differentially private, Bayesian neural networks with minor adjustments to the original (DP-SGD) algorithm. Our approach provides considerably more reliable uncertainty estimates than DP-SGD, as demonstrated empirically by a reduction in expected calibration error (MNIST $\sim{5}$-fold, Pediatric Pneumonia Dataset $\sim{2}$-fold).
• Abstract（参考訳）: 偏差的にプライベートな確率的勾配降下(dp-sgd)は、校正が不十分で信頼度の高い深層学習モデルをもたらす可能性がある。 これは、例えば安全クリティカルなアプリケーションにとって深刻な問題である。 医学診断で 我々は,従来の(DP-SGD)アルゴリズムを微調整した偏微分プライベートなベイズニューラルネットワークをトレーニングするために,ディープニューラルネットワークのトレーニングのためのスケーラブルベイズ推論手法である確率勾配ランゲヴィンダイナミクスとDP-SGDの並列性を強調・活用する。 我々のアプローチはdp-sgdよりもかなり信頼性の高い不確実性推定を提供し、予測校正誤差の低減(mnist $\sim{5}$-fold、小児肺炎データセット $\sim{2}$-fold)によって実証された。

関連論文リスト

• Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression: A Distribution-Free Analysis [19.988762532185884]
  ニューラルネットワークが早期停止でGDによってトレーニングされている場合、トレーニングされたネットワークは、非パラメトリック回帰リスクが$cO(eps_n2)$のシャープレートを示す。 本研究の結果は,トレーニングデータに分布的な仮定を必要としないことが示唆された。
  論文  参考訳（メタデータ） (2024-11-05T08:43:54Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
  この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。 パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。 実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
  論文  参考訳（メタデータ） (2023-04-26T05:02:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
  私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。 我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。 我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:54:54Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Functional Space Variational Inference for Uncertainty Estimation in Computer Aided Diagnosis [2.1940032945704817]
  ディープニューラルネットワークは医療画像分析と病気の診断に革命をもたらした。 このようなネットワークに対して、よく校正された確率的出力を生成することは困難であり、解釈不能なブラックボックスとなる。 ベイズ予想を関数空間にシフトさせることにより、より低い計算コストでより良いキャリブレーションの不確実性推定を与える有意義な事前計算ができることを示す。
  論文  参考訳（メタデータ） (2020-05-24T16:42:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。