論文の概要: High-Dimensional Privacy-Utility Dynamics of Noisy Stochastic Gradient Descent on Least Squares

• arxiv url: http://arxiv.org/abs/2510.16687v1
• Date: Sun, 19 Oct 2025 02:28:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.095832
• Title: High-Dimensional Privacy-Utility Dynamics of Noisy Stochastic Gradient Descent on Least Squares
• Title（参考訳）: 雑音性確率勾配の最小方形における高次元プライバシ-ユーティリティダイナミクス
• Authors: Shurong Lin, Eric D. Kolaczyk, Adam Smith, Elliot Paquette,
• Abstract要約: ノイズ降下勾配(SGD)は,特に大規模設定において,基礎となるアルゴリズムとして登場した。 この研究は拡散法を利用してノイズの多いSGDを正確に解析する。 我々は$ell$正規化で最小二乗問題にフォーカスする。
• 参考スコア（独自算出の注目度）: 7.440141144728147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The interplay between optimization and privacy has become a central theme in privacy-preserving machine learning. Noisy stochastic gradient descent (SGD) has emerged as a cornerstone algorithm, particularly in large-scale settings. These variants of gradient methods inject carefully calibrated noise into each update to achieve differential privacy, the gold standard notion of rigorous privacy guarantees. Prior work primarily provides various bounds on statistical risk and privacy loss for noisy SGD, yet the \textit{exact} behavior of the process remains unclear, particularly in high-dimensional settings. This work leverages a diffusion approach to analyze noisy SGD precisely, providing a continuous-time perspective that captures both statistical risk evolution and privacy loss dynamics in high dimensions. Moreover, we study a variant of noisy SGD that does not require explicit knowledge of gradient sensitivity, unlike existing work that assumes or enforces sensitivity through gradient clipping. Specifically, we focus on the least squares problem with $\ell_2$ regularization.
• Abstract（参考訳）: 最適化とプライバシの相互作用は、プライバシ保護機械学習における中心的なテーマとなっている。 雑音性確率勾配勾配(SGD)は,特に大規模設定において,基礎となるアルゴリズムとして出現している。 これらの勾配法は、厳密なプライバシー保証という金の標準概念である差分プライバシーを達成するために、各更新に慎重に校正されたノイズを注入する。 先行研究は主に、ノイズの多いSGDの統計的リスクとプライバシー損失に関するさまざまな限界を提供するが、特に高次元設定では、プロセスの \textit{exact} 動作は不明確である。 この研究は拡散アプローチを利用してノイズの多いSGDを正確に分析し、統計的リスクの進化と高次元におけるプライバシー損失のダイナミクスの両方をキャプチャする連続的な視点を提供する。 さらに,勾配クリッピングによる感度の仮定や強制を行う既存の作業とは異なり,勾配感度の明示的な知識を必要としない雑音性SGDの変種について検討した。 具体的には、$\ell_2$正規化の最小二乗問題に焦点を当てる。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• DP-SGD with weight clipping [0.9208007322096533]
  従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。 探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
  論文  参考訳（メタデータ） (2023-10-27T09:17:15Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent [10.409652277630132]
  我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。 プライバシーの損失は指数関数的に速く収束する。
  論文  参考訳（メタデータ） (2021-02-11T05:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。