論文の概要: Differentially Private Sampling from Rashomon Sets, and the Universality
of Langevin Diffusion for Convex Optimization
- arxiv url: http://arxiv.org/abs/2204.01585v4
- Date: Mon, 28 Aug 2023 23:24:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 19:29:58.424777
- Title: Differentially Private Sampling from Rashomon Sets, and the Universality
of Langevin Diffusion for Convex Optimization
- Title(参考訳): ラショーモン集合からの微分プライベートサンプリングと凸最適化のためのランゲヴィン拡散の普遍性
- Authors: Arun Ganesh, Abhradeep Thakurta, Jalaj Upadhyay
- Abstract要約: プライバシー分析が凸性に依存しず、プライバシーを損なうことなくいつでも停止することができる指数関数機構からのサンプリングアルゴリズムを提案する。
我々は、純粋および近似微分プライバシー(DP)の下で(強く)凸損失に対する最適過大な経験と人口リスクの保証を得る。
このフレームワークにより、Rashomon集合からDP一様サンプリングを設計できる。
- 参考スコア(独自算出の注目度): 15.404265455635587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we provide an algorithmic framework based on Langevin diffusion
(LD) and its corresponding discretizations that allow us to simultaneously
obtain: i) An algorithm for sampling from the exponential mechanism, whose
privacy analysis does not depend on convexity and which can be stopped at
anytime without compromising privacy, and ii) tight uniform stability
guarantees for the exponential mechanism. As a direct consequence, we obtain
optimal excess empirical and population risk guarantees for (strongly) convex
losses under both pure and approximate differential privacy (DP). The framework
allows us to design a DP uniform sampler from the Rashomon set. Rashomon sets
are widely used in interpretable and robust machine learning, understanding
variable importance, and characterizing fairness.
- Abstract(参考訳): 本稿では,Langevin diffusion (LD) に基づくアルゴリズムフレームワークとその対応する離散化について述べる。
一 プライバシ分析が凸性に依存しず、かつ、プライバシを損なうことなくいつでも停止することができる指数関数的メカニズムからサンプリングするアルゴリズム
二 指数的機構の厳密な均一安定性を保証すること。
直接的な結果として、純粋および近似微分プライバシー(DP)の下での(強く)凸損失に対する最適過大な経験的および集団リスクの保証を得る。
このフレームワークにより,rashomon セットから dp uniform sampler を設計できる。
ラショモンセットは、解釈可能で堅牢な機械学習、変数の重要性の理解、公平さの特徴づけに広く使われている。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳(メタデータ) (2024-10-03T09:07:13Z) - Taming Nonconvex Stochastic Mirror Descent with General Bregman
Divergence [25.717501580080846]
本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。
トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-27T17:56:49Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Unified Enhancement of Privacy Bounds for Mixture Mechanisms via
$f$-Differential Privacy [41.51051636162107]
本稿では、シャッフルモデルと1点差分勾配勾配のプライバシー境界の改善に焦点をあてる。
シャッフルモデルに対するトレードオフ関数のクローズドフォーム式を導出し、最新の結果よりも優れる。
また, ホッケースティックの進行した関節凸性の$f$-DPアナログを, $(epsilon,delta)$-DPに関連するホッケースティックのばらつきについて検討した。
論文 参考訳(メタデータ) (2023-10-30T19:37:51Z) - GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。
非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。
GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
論文 参考訳(メタデータ) (2023-02-13T18:24:21Z) - On the Privacy-Robustness-Utility Trilemma in Distributed Learning [7.778461949427662]
本稿では,少数の対向マシンに対してロバスト性を保証するアルゴリズムによって得られた誤差を,まず厳密に解析する。
私たちの分析は、プライバシ、堅牢性、ユーティリティの基本的なトレードオフを示しています。
論文 参考訳(メタデータ) (2023-02-09T17:24:18Z) - The Poisson binomial mechanism for secure and private federated learning [19.399122892615573]
本稿では,分散平均推定(DME)のための離散的差分プライバシー機構を導入し,フェデレーション学習と分析に応用する。
我々は、プライバシー保証の厳密な分析を行い、連続的なガウス機構と同じプライバシーと精度のトレードオフを達成することを示す。
論文 参考訳(メタデータ) (2022-07-09T05:46:28Z) - Differential Privacy of Dirichlet Posterior Sampling [0.0]
ディリクレ後部分布から1枚のドローを放出する固有のプライバシーについて検討する。
トランカットされた集中微分プライバシー(tCDP)の概念により、ディリクレ後方サンプリングの単純なプライバシー保証を導き出すことができる。
論文 参考訳(メタデータ) (2021-10-03T07:41:19Z) - Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy
Amplification by Shuffling [49.43288037509783]
ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。
私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
論文 参考訳(メタデータ) (2020-12-23T17:07:26Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳(メタデータ) (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。