論文の概要: Better Batches, Better Privacy: Random Allocation for DP-BandMF
- arxiv url: http://arxiv.org/abs/2610.12712v1
- Date: Thu, 08 Oct 2026 20:47:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.281676
- Title: Better Batches, Better Privacy: Random Allocation for DP-BandMF
- Title（参考訳）: より良いバッチとプライバシー:DP-BandMFのランダムなアロケーション
- Abstract要約: 本稿では,DP-BandMFのランダムアロケーションにインスパイアされた新しいバッチ選択手法を提案し,解析する。
我々は、注意深く最適化されたGPU実装により、サンプリングとスコアリングのスループットを2桁に向上する。
- 参考スコア（独自算出の注目度）: 13.436528906788197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current state of the art for batch selection and noise addition in differentially private training is a combination of DP-BandMF (informally, DP-SGD where the noise added in two different steps can be correlated if the steps are within $b$ of each other) and privacy amplification by sampling via Monte Carlo accounting. First, whereas prior batch selection strategies for DP-BandMF were inspired by Poisson sampling, random allocation is known to outperform Poisson sampling for DP-SGD. We therefore propose and analyze new batch selection strategies for DP-BandMF inspired by random allocation, improving RMSE by up to $1.85\times$ over previous work. Second, Monte Carlo accounting typically requires drawing $Ω(1/δ)$ samples from a privacy loss distribution, making accounting costly. We increase sampling and scoring throughput by two orders of magnitude through a carefully optimized GPU implementation. Finally, previous work chose the DP-BandMF strategy matrix and the batch selection strategy independently. We give a simple framework for choosing these parameters jointly, reducing RMSE by up to $13.4\%$ over fixed strategy matrices.
- Abstract（参考訳）: 差分プライベートトレーニングにおけるバッチ選択とノイズ付加のための現在の最先端技術は、DP-BandMF(正式には、ステップがb$以内であれば2つの異なるステップで加算されるノイズが相関するDP-SGD)と、モンテカルロ会計によるサンプリングによるプライバシー増幅の組み合わせである。
第一に、DP-BandMFの以前のバッチ選択戦略はポアソンサンプリングにインスパイアされているのに対し、ランダムアロケーションはDP-SGDのポアソンサンプリングよりも優れていることが知られている。
そこで我々はDP-BandMFの新しいバッチ選択戦略を提案し解析し、乱数割当に着想を得てRMSEを最大1.85\times$で改善した。
第2に、モンテカルロ会計は一般的にプライバシー損失分布からΩ(1/δ)$サンプルを引かなければならないため、会計はコストがかかる。
念入りに最適化されたGPU実装により,サンプリングとスコアリングのスループットを2桁に向上する。
最後に、DP-BandMF戦略行列とバッチ選択戦略を独立に選択した。
我々はこれらのパラメータを共同で選択するための単純なフレームワークを提供し、RMSEを固定戦略行列上で最大13.4\%まで削減する。
関連論文リスト
- Less Random, More Private: What is the Optimal Subsampling Scheme for DP-SGD? [14.158845925610438]
Balanced It Subsampling (BIS)はPoisson Subsamplingよりも強力なプライバシー増幅を実現し,ノイズスペクトルの両極端において最適であることを示す。
本稿では,BISのモンテカルロ会計を実践的に導入し,既存のPLD分析のスラックを除去する手法を提案する。
論文 参考訳（メタデータ） (2026-05-08T00:47:11Z) - Privacy Amplification for BandMF via $b$-Min-Sep Subsampling [6.843595664167079]
我々はモンテカルロ会計を用いてほぼ正確なプライバシー分析を行う。
高騒音下でのサイクリックサブサンプリングに$b$-min-sepが一致し,中低騒音下での保証が厳格に向上したことを示す。
これまでのBandMFサブサンプリングとは違って、当社の$b$-min-sepサブサンプリングは、当然、マルチ属性のユーザレベルのプライバシ設定に拡張されます。
論文 参考訳（メタデータ） (2026-02-10T02:10:38Z) - Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。
これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。
しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
論文 参考訳（メタデータ） (2023-10-23T07:54:39Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳（メタデータ） (2023-02-18T09:24:15Z) - Generalizing DP-SGD with Shuffling and Batch Clipping [21.55827140532476]
DP-SGDは、ランダムなサブサンプリングによる個別のクリッピングを実装し、ミニバッチSGDアプローチを強制する。
DP-SGDを超える一般微分プライベートアルゴリズムフレームワークを提供し、任意の一階和を許容する。
シャッフルを伴うバッチクリッピングに$sqrtg E$ DP依存性を示す。
論文 参考訳（メタデータ） (2022-12-12T09:43:26Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Algorithms for Adaptive Experiments that Trade-off Statistical Analysis
with Reward: Combining Uniform Random Assignment and Reward Maximization [50.725191156128645]
トンプソンサンプリングのようなマルチアームバンディットアルゴリズムは適応的な実験を行うのに利用できる。
統計的解析のための一様ランダム化の利点を組み合わせた2つのアルゴリズムを探索する2つのアーム実験のシミュレーションを提案する。
論文 参考訳（メタデータ） (2021-12-15T22:11:58Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - Statistical Efficiency of Thompson Sampling for Combinatorial
Semi-Bandits [56.31950477139053]
半帯域フィードバック(CMAB)を用いたマルチアームバンディットの検討
我々は Combinatorial Thompson Smpling Policy (CTS) の変種を解析する。
この最終結果は,Y Combinatorial Bandit Policy (ESCB) の効率的なサンプリングに代わるものだ。
論文 参考訳（メタデータ） (2020-06-11T17:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。