論文の概要: Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep\\ Learning?

• arxiv url: http://arxiv.org/abs/2110.05057v1
• Date: Mon, 11 Oct 2021 07:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 21:02:57.862249
• Title: Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep\\ Learning?
• Title（参考訳）: 確率勾配ランゲヴィンダイナミクスは深層学習に差分プライバシーをもたらすか?
• Authors: Guy Heller, Ethan Fetaya
• Abstract要約: SGLDを使用すると、たとえ後部からのサンプリングが望んだほど独立にプライベートである場合でも、中間領域の非バウンドプライバシ損失が生じる可能性がある。 本稿では,SGLDを使用すれば,後方からのサンプリングが所望の差分プライベートである場合でも,この中間領域における無拘束のプライバシ損失が生じる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 12.254838222093646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian learning via Stochastic Gradient Langevin Dynamics (SGLD) has been suggested for differentially private learning. While previous research provides differential privacy bounds for SGLD when close to convergence or at the initial steps of the algorithm, the question of what differential privacy guarantees can be made in between remains unanswered. This interim region is essential, especially for Bayesian neural networks, as it is hard to guarantee convergence to the posterior. This paper will show that using SGLD might result in unbounded privacy loss for this interim region, even when sampling from the posterior is as differentially private as desired.
• Abstract（参考訳）: Stochastic Gradient Langevin Dynamics (SGLD) によるベイズ学習は、異なる個人学習のために提案されている。 これまでの研究では、収束やアルゴリズムの初期段階に近づくと、sgldの差分プライバシ境界を提供するが、どの差分プライバシ保証が可能かという問題は未解決のままである。 この中間領域は特にベイズニューラルネットワークにとって不可欠であり、後部への収束を保証することは困難である。 本稿では,SGLDを使用すれば,後方からのサンプリングが所望の差分プライベートである場合でも,この中間領域のプライバシーを損なう可能性があることを示す。

関連論文リスト

• Differentially Private Block-wise Gradient Shuffle for Deep Learning [0.0]
  本稿では,ディープラーニングのためのDP-BloGSアルゴリズムを提案する。 DP-BloGSは、既存の私的なディープラーニングの文献から成り立っているが、勾配雑音導入に対する確率的アプローチを採用することで、決定的な変化を生んでいる。 DP-SGDよりもデータ抽出に対する耐性が高いことが判明した。
  論文  参考訳（メタデータ） (2024-07-31T05:32:37Z)
• Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent [1.0742675209112622]
  Gradient Descent (SGD) は機械学習において広く使われているツールである。 ブートストラップによるSGDの不確実性定量化(UQ)は、いくつかの著者によって解決されている。 本稿では,ローカルな差分プライバシーの下でSGDのブロックブートストラップを提案する。
  論文  参考訳（メタデータ） (2024-05-21T07:47:21Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses [4.68299658663016]
  Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。 最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。 DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
  論文  参考訳（メタデータ） (2023-05-17T02:25:56Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Differentially Private Temporal Difference Learning with Stochastic Nonconvex-Strongly-Concave Optimization [17.361143427007224]
  時間差(TD)学習は、強化学習における政策を評価するために広く用いられている手法である。 本稿では,非線形値関数を用いたTD学習におけるプライバシ保護について考察する。 DPTDは、トランジションに符号化された機密情報に対して$epsilon,n-differential privacy (DP) を保証し、TD学習の本来のパワーを維持できることを示す。
  論文  参考訳（メタデータ） (2022-01-25T16:48:29Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent [10.409652277630132]
  我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。 プライバシーの損失は指数関数的に速く収束する。
  論文  参考訳（メタデータ） (2021-02-11T05:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。