論文の概要: Near Exact Privacy Amplification for Matrix Mechanisms

• arxiv url: http://arxiv.org/abs/2410.06266v1
• Date: Tue, 8 Oct 2024 18:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:21:03.830441
• Title: Near Exact Privacy Amplification for Matrix Mechanisms
• Title（参考訳）: マトリックス機構の近似的プライバシー増幅
• Authors: Christopher A. Choquette-Choo, Arun Ganesh, Saminul Haque, Thomas Steinke, Abhradeep Thakurta,
• Abstract要約: より低い非負の$textbfC$に対して、ほぼ正確なプライバシーパラメータを計算するためのフレームワークを提供する。 実証的な結果として,従来のSOTA (State-of-the-art) よりも小さな RMSE をプレフィックス和で実現できることを示す。
• 参考スコア（独自算出の注目度）: 17.8377145106088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of computing the privacy parameters for DP machine learning when using privacy amplification via random batching and noise correlated across rounds via a correlation matrix $\textbf{C}$ (i.e., the matrix mechanism). Past work on this problem either only applied to banded $\textbf{C}$, or gave loose privacy parameters. In this work, we give a framework for computing near-exact privacy parameters for any lower-triangular, non-negative $\textbf{C}$. Our framework allows us to optimize the correlation matrix $\textbf{C}$ while accounting for amplification, whereas past work could not. Empirically, we show this lets us achieve smaller RMSE on prefix sums than the previous state-of-the-art (SOTA). We also show that we can improve on the SOTA performance on deep learning tasks. Our two main technical tools are (i) using Monte Carlo accounting to bypass composition, which was the main technical challenge for past work, and (ii) a "balls-in-bins" batching scheme that enables easy privacy analysis and is closer to practical random batching than Poisson sampling.
• Abstract（参考訳）: 本稿では,DP機械学習のプライバシパラメータをランダムなバッチ処理とラウンド間のノイズ相関を用いて,相関行列$\textbf{C}$(行列機構)を用いて計算する問題について検討する。 この問題の過去の作業は、バンド化された$\textbf{C}$にのみ適用されるか、あるいは、緩やかなプライバシパラメータを与えるかのどちらかだった。 本研究では、低三角形で非負の$\textbf{C}$に対して、ほぼ正確なプライバシーパラメータを計算するためのフレームワークを提供する。 私たちのフレームワークは、アンプリフィケーションを考慮しながら相関行列 $\textbf{C}$ を最適化できますが、過去の作業ではできなかったのです。 実証的な結果として,従来のSOTA (State-of-the-art) よりも小さな RMSE をプレフィックス和で実現できることを示す。 また,深層学習タスクにおけるSOTA性能の向上が期待できることを示す。 私たちの主な技術ツールは2つです。 (i)モンテカルロ会計を用いて、過去の作品の主要な技術的課題である作曲をバイパスし、 (II)プライバシー分析が容易で,Poissonサンプリングよりもランダムなバッチ処理に近い,"balls-in-bins"バッチ方式。

関連論文リスト

• Perturb-and-Project: Differentially Private Similarities and Marginals [73.98880839337873]
  差分プライバシーのための入力摂動フレームワークを再検討し、入力にノイズを付加する。 まず、ペアワイズ・コサイン類似性をプライベートにリリースするための新しい効率的なアルゴリズムを設計する。 我々は,$k$の辺縁クエリを$n$の機能に対して計算する新しいアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-06-07T12:07:16Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Privacy Amplification for Matrix Mechanisms [18.13715687378337]
  MMCCは、一般的な行列機構のサンプリングにより、プライバシの増幅を分析する最初のアルゴリズムである。 標準ベンチマークにおけるDP-FTRLアルゴリズムのプライバシ・ユーティリティトレードオフが大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2023-10-24T05:16:52Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。 我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2023-03-05T15:11:14Z)
• Scalable Differentially Private Clustering via Hierarchically Separated Trees [82.69664595378869]
  我々は,最大$O(d3/2log n)cdot OPT + O(k d2 log2 n / epsilon2)$,$epsilon$はプライバシ保証であることを示す。 最悪の場合の保証は、最先端のプライベートクラスタリング手法よりも悪いが、提案するアルゴリズムは実用的である。
  論文  参考訳（メタデータ） (2022-06-17T09:24:41Z)
• Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms [93.44378960676897]
  トレーニングされたモデルとデータサンプルが与えられた場合、メンバシップ推論(MI)アタックは、サンプルがモデルのトレーニングセットにあるかどうかを予測する。 MI攻撃に対する一般的な対策は、モデルトレーニング中に差分プライバシー(DP)を利用して個々の事例の存在を隠蔽することである。 本稿では,MI攻撃を装着した相手のテキスト・アドバンテージのバウンダリを導出し,広く利用されているガウス機構の厳密性を示す。
  論文  参考訳（メタデータ） (2022-04-12T22:36:56Z)
• Improved Regret Bound and Experience Replay in Regularized Policy Iteration [22.621710838468097]
  無限ホライゾンマルコフ決定過程(mdps)における学習アルゴリズムを関数近似を用いて検討する。 まず、ほぼ同一の仮定の下で、Politexアルゴリズムの後悔解析を$O(T3/4)$から$O(sqrtT)$にシャープできることを示す。 その結果、計算効率の良いアルゴリズムに対して、最初の高い確率の$o(sqrtt)$ regretバウンドが得られる。
  論文  参考訳（メタデータ） (2021-02-25T00:55:07Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Tight Differential Privacy for Discrete-Valued Mechanisms and for the Subsampled Gaussian Mechanism Using FFT [6.929834518749884]
  離散的な1次元の出力を持つアルゴリズムに対して,厳密な$(varepsilon,delta)$-privacy損失を評価するための数値会計法を提案する。 本稿では,従来の文献と同等のプライバシーで,ノイズ分散を最大75%低減できることを示す。
  論文  参考訳（メタデータ） (2020-06-12T12:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。