論文の概要: An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses

• arxiv url: http://arxiv.org/abs/2502.17772v1
• Date: Tue, 25 Feb 2025 02:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:30.564650
• Title: An Improved Privacy and Utility Analysis of Differentially Private SGD with Bounded Domain and Smooth Losses
• Title（参考訳）: ドメイン境界とスムーズ損失を有する個人別SGDのプライバシと実用性の向上
• Authors: Hao Liang, Wanrong Zhang, Xinlei He, Kaishun He, Hong Xing,
• Abstract要約: 我々は、差分的にプライベートなグラディエントDescentの厳格なプライバシとユーティリティ特性を提供する。 境界領域を持つDPSGDの場合、プライバシー損失は凸性仮定なしで収束可能であることを示す。
• 参考スコア（独自算出の注目度）: 19.528380094632755
• License:
• Abstract: Differentially Private Stochastic Gradient Descent (DPSGD) is widely used to protect sensitive data during the training of machine learning models, but its privacy guarantees often come at the cost of model performance, largely due to the inherent challenge of accurately quantifying privacy loss. While recent efforts have strengthened privacy guarantees by focusing solely on the final output and bounded domain cases, they still impose restrictive assumptions, such as convexity and other parameter limitations, and often lack a thorough analysis of utility. In this paper, we provide rigorous privacy and utility characterization for DPSGD for smooth loss functions in both bounded and unbounded domains. We track the privacy loss over multiple iterations by exploiting the noisy smooth-reduction property and establish the utility analysis by leveraging the projection's non-expansiveness and clipped SGD properties. In particular, we show that for DPSGD with a bounded domain, (i) the privacy loss can still converge without the convexity assumption, and (ii) a smaller bounded diameter can improve both privacy and utility simultaneously under certain conditions. Numerical results validate our results.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DPSGD)は、機械学習モデルのトレーニング中に機密データを保護するために広く使用されているが、プライバシ保証はモデルパフォーマンスのコストがかかることが多い。 最近の取り組みでは、最終的な出力と境界付けられたドメインケースのみにフォーカスすることでプライバシー保証を強化しているが、凸性やその他のパラメータ制限のような制限的な仮定を課し、ユーティリティの徹底的な分析を欠いていることが多い。 本稿では,DPSGDの厳密なプライバシとユーティリティ特性を,有界領域と非有界領域の両方におけるスムーズな損失関数として提供する。 ノイズの多いスムーズな誘引特性を利用して複数回にわたるプライバシ損失を追跡し、プロジェクションの非拡張性とクリップされたSGD特性を活用してユーティリティ分析を確立する。 特に、有界領域を持つ DPSGD について述べる。 (i)プライバシーの損失は、凸性仮定なしでも収まることができ、 (二)一定の条件下では、小さい境界径がプライバシーと実用性の両方を同時に改善することができる。 数値計算の結果を検証した。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Meeting Utility Constraints in Differential Privacy: A Privacy-Boosting Approach [7.970280110429423]
  本稿では,ほとんどのノイズ付加型DP機構と互換性のあるプライバシブースティングフレームワークを提案する。 私たちのフレームワークは、ユーティリティ要件を満たすために、サポートの望ましいサブセットに出力が落ちる可能性を高める。 提案手法は,実用性制約下での標準DP機構よりも低いプライバシー損失を実現する。
  論文  参考訳（メタデータ） (2024-12-13T23:34:30Z)
• The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD [46.71175773861434]
  ノイズカットされた勾配勾配(DP-SGD)の簡易なプライバシー解析法を提案する。 各種トレーニング手順に適用したプライバシー監査の結果を予測できることを実験的に示す。 既存のプライバシー監査攻撃は、視覚と言語の両方のタスクにおける分析によって制限されていることを実証的に示しています。
  論文  参考訳（メタデータ） (2024-10-08T16:51:10Z)
• Deep Learning with Data Privacy via Residual Perturbation [13.437435287800668]
  いくつかの著名なプライバシー概念が確立され、プライバシー保護ディープラーニング(DL)に利用されている。 本稿では,プライバシー保護のための微分方程式に基づく残差摂動法を提案する。 残差摂動は効率的であり、最先端の個人的降下よりも優れることを示す。
  論文  参考訳（メタデータ） (2024-08-11T08:26:43Z)
• Private Optimal Inventory Policy Learning for Feature-based Newsvendor with Unknown Demand [13.594765018457904]
  本稿では, f-differential privacy framework内で, プライバシ保護に最適な在庫ポリシーを推定するための新しいアプローチを提案する。 最適在庫推定のための畳み込み平滑化に基づくクリップ付き雑音勾配降下アルゴリズムを開発した。 提案手法は,コストを極端に増大させることなく,望ましいプライバシー保護を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-23T19:15:43Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses [4.68299658663016]
  Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。 最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。 DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
  論文  参考訳（メタデータ） (2023-05-17T02:25:56Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• On the Statistical Complexity of Estimation and Testing under Privacy Constraints [17.04261371990489]
  差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。 プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。 最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
  論文  参考訳（メタデータ） (2022-10-05T12:55:53Z)
• Private Domain Adaptation from a Public Source [48.83724068578305]
  我々は、公開ラベル付きデータを持つソースドメインから、未ラベル付きプライベートデータを持つターゲットドメインへの適応のための差分プライベート離散性に基づくアルゴリズムを設計する。 我々の解は、Frank-WolfeとMirror-Descentアルゴリズムのプライベートな変種に基づいている。
  論文  参考訳（メタデータ） (2022-08-12T06:52:55Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。