論文の概要: Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation

• arxiv url: http://arxiv.org/abs/2107.04265v1
• Date: Fri, 9 Jul 2021 07:19:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 00:28:31.608110
• Title: Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation
• Title（参考訳）: ハイブリッド自動微分を用いた微分プライベート機械学習における感度解析
• Authors: Alexander Ziller, Dmitrii Usynin, Moritz Knolle, Kritika Prakash, Andrew Trask, Rickmer Braren, Marcus Makowski, Daniel Rueckert, Georgios Kaissis
• Abstract要約: 感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
• 参考スコア（独自算出の注目度）: 54.88777449903538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, formal methods of privacy protection such as differential privacy (DP), capable of deployment to data-driven tasks such as machine learning (ML), have emerged. Reconciling large-scale ML with the closed-form reasoning required for the principled analysis of individual privacy loss requires the introduction of new tools for automatic sensitivity analysis and for tracking an individual's data and their features through the flow of computation. For this purpose, we introduce a novel \textit{hybrid} automatic differentiation (AD) system which combines the efficiency of reverse-mode AD with an ability to obtain a closed-form expression for any given quantity in the computational graph. This enables modelling the sensitivity of arbitrary differentiable function compositions, such as the training of neural networks on private data. We demonstrate our approach by analysing the individual DP guarantees of statistical database queries. Moreover, we investigate the application of our technique to the training of DP neural networks. Our approach can enable the principled reasoning about privacy loss in the setting of data processing, and further the development of automatic sensitivity analysis and privacy budgeting systems.
• Abstract（参考訳）: 近年,機械学習(ML)などのデータ駆動タスクに展開可能な,差分プライバシー(DP)などの形式的なプライバシ保護手法が出現している。 個人のプライバシ損失の原則分析に必要なクローズドフォーム推論と大規模mlの調整には、自動感度分析のための新しいツールの導入と、計算フローを通じて個人のデータとその特徴を追跡することが必要である。 そこで,本研究では,逆モードadの効率と計算グラフ内の任意の量に対してクローズドフォーム式を得る能力を組み合わせた,新しい \textit{hybrid} automatic differentiation (ad) システムを提案する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 統計的データベースクエリの個々のDP保証を分析することで、我々のアプローチを実証する。 さらに,本手法のdpニューラルネットワークのトレーニングへの応用について検討した。 当社のアプローチは,データ処理設定におけるプライバシ損失の原則的推論を可能にし,さらに自動感度分析とプライバシー予算システムの開発を可能にする。

関連論文リスト

• Distributed, communication-efficient, and differentially private estimation of KL divergence [15.294136011320433]
  分散された機密性の高いデータを管理する上で重要なタスクは、分散の変化の度合いを測定することである。 差分プライバシの下で,計算のフェデレーションモデル間でのKL分散を推定するための新しいアルゴリズムアプローチについて述べる。
  論文  参考訳（メタデータ） (2024-11-25T15:20:40Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Differentially Private Linear Regression with Linked Data [3.9325957466009203]
  コンピュータ科学の数学的概念である差分プライバシーは、堅牢なプライバシー保証を提供する上昇するツールである。 最近の研究は、個々の統計および機械学習タスクの微分プライベートバージョンの開発に焦点を当てている。 相関データを用いた線形回帰のための2つの微分プライベートアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-01T21:00:19Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• DP-UTIL: Comprehensive Utility Analysis of Differential Privacy in Machine Learning [3.822543555265593]
  差別化プライバシ(DP)は、プライバシー漏洩を理由とする厳格な形式主義として浮上している。 機械学習(ML)では、DPはトレーニング例の限定/開示に使用されている。 ディープニューラルネットワークの場合、勾配の摂動はプライバシリークを低くする。
  論文  参考訳（メタデータ） (2021-12-24T08:40:28Z)
• Partial sensitivity analysis in differential privacy [58.730520380312676]
  それぞれの入力特徴が個人のプライバシ損失に与える影響について検討する。 プライベートデータベース上でのクエリに対する我々のアプローチを実験的に評価する。 また、合成データにおけるニューラルネットワークトレーニングの文脈における知見についても検討する。
  論文  参考訳（メタデータ） (2021-09-22T08:29:16Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。