論文の概要: Correlated Noise Mechanisms for Differentially Private Learning

• arxiv url: http://arxiv.org/abs/2506.08201v1
• Date: Mon, 09 Jun 2025 20:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.667966
• Title: Correlated Noise Mechanisms for Differentially Private Learning
• Title（参考訳）: 個人差分学習のための相関ノイズ機構
• Authors: Krishna Pillutla, Jalaj Upadhyay, Christopher A. Choquette-Choo, Krishnamurthy Dvijotham, Arun Ganesh, Monika Henzinger, Jonathan Katz, Ryan McKenna, H. Brendan McMahan, Keith Rush, Thomas Steinke, Abhradeep Thakurta,
• Abstract要約: この本は、AIと機械学習モデルのプライベートトレーニングに差分プライバシーのための相関ノイズメカニズムの適用に焦点を当てている。 ノイズの反相関は、その後のステップで追加されたノイズの一部を慎重にキャンセルすることで、プライバシーとユーティリティのトレードオフを大幅に改善する。 このような相関ノイズ機構は、行列機構、分解機構、学習アルゴリズムに適用されたDP-FTRL(DP-FTRL)としても知られており、産業的展開が世界規模で行われている。
• 参考スコア（独自算出の注目度）: 34.606526435524266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This monograph explores the design and analysis of correlated noise mechanisms for differential privacy (DP), focusing on their application to private training of AI and machine learning models via the core primitive of estimation of weighted prefix sums. While typical DP mechanisms inject independent noise into each step of a stochastic gradient (SGD) learning algorithm in order to protect the privacy of the training data, a growing body of recent research demonstrates that introducing (anti-)correlations in the noise can significantly improve privacy-utility trade-offs by carefully canceling out some of the noise added on earlier steps in subsequent steps. Such correlated noise mechanisms, known variously as matrix mechanisms, factorization mechanisms, and DP-Follow-the-Regularized-Leader (DP-FTRL) when applied to learning algorithms, have also been influential in practice, with industrial deployment at a global scale.
• Abstract（参考訳）: このモノグラフは、重み付きプレフィックス和の推定のコアプリミティブを介して、AIと機械学習モデルのプライベートトレーニングへの応用に焦点を当て、相関ノイズメカニズムの設計と分析を行う。 一般のDPメカニズムは、学習データのプライバシーを守るために、確率勾配(SGD)学習アルゴリズムの各ステップに独立したノイズを注入するが、近年の研究では、ノイズに(反)相関を導入することで、初期のステップで追加されたノイズの一部を慎重にキャンセルすることで、プライバシーとユーティリティのトレードオフを大幅に改善できることが示されている。 このような相関ノイズ機構は、行列機構、分解機構、学習アルゴリズムに適用されたDP-FTRL(DP-FTRL)としても知られており、産業的展開が世界規模で行われている。

関連論文リスト

• How Private is Your Attention? Bridging Privacy with In-Context Learning [4.093582834469802]
  In-context Learning (ICL) - 推論時に提供された例から新しいタスクを実行するトランスフォーマーベースモデルの能力。 線形アテンションヘッドのための差分プライベート事前学習アルゴリズムを提案し、線形回帰におけるICLのプライバシ・正確性トレードオフに関する最初の理論的解析を提示する。
  論文  参考訳（メタデータ） (2025-04-22T16:05:26Z)
• Forward Learning with Differential Privacy [27.164507868291913]
  そこで我々は,DP-ULR(Disdifferial Private Unified Likelihood Ratio)という,ブループライエタリな前方学習アルゴリズムを提案する。 提案実験により,DP-ULRは,バックプロパゲーションに基づく従来の差分プライバシートレーニングアルゴリズムと比較して,競争性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-04-01T04:14:53Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• The Paradox of Noise: An Empirical Study of Noise-Infusion Mechanisms to Improve Generalization, Stability, and Privacy in Federated Learning [0.0]
  本研究では,付加雑音の存在下でのディープラーニングモデルのプライバシ,一般化,安定性について検討する。 我々は、ノイズ注入モデルのプライバシとトレーニング精度のトレードオフの尺度として、Signal-to-Noise Ratio (SNR) を用いる。 ノイズを正規化とプライバシ強化のツールとして活用することにより、堅牢でプライバシを意識したアルゴリズムの開発に寄与することを目指している。
  論文  参考訳（メタデータ） (2023-11-09T23:36:18Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy [17.81999485513265]
  線形相関雑音下での勾配降下について検討する。 我々はこの結果を用いて、微分プライベート最適化のための新しい効果的な行列分解法を開発した。
  論文  参考訳（メタデータ） (2023-02-02T23:32:24Z)
• Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
  感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T07:19:23Z)
• On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
  Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。 最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
  論文  参考訳（メタデータ） (2021-01-19T02:04:00Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。